arXiv · cs.CL· Donghao Zeng (Mila, McGill University), Nishant Subramani (Carnegie Mellon University), Tamar Rott Shaham (MIT CSAIL), Benno Krojer (Mila, McGill University, Northeastern University)·· 5 小时前
研究:跨模态引导向量同时存在于图像与文本生成中
Cross-modal Steering Vectors Exist Across Both Image and Text Generation
AI 导读
研究在多个统一多模态模型中发现,引导向量可零样本双向迁移:在文本 token 上找到的引导向量加到图像 token 上同样能控制生成,反之亦然。即便对某一模态高度独有的概念(如正式与口语化语言),向量也能在另一模态引发一致且可解释的效果,如正式服装与设计。这类可迁移向量在同一概念下方向趋于相似,尽管文本与图像表征之间存在明显的模态鸿沟。
来源:arXiv · cs.CL · arxiv.org