arXiv · cs.AI· Zhengyang Luo, Xiaoyu Qiu, Zhiheng Tan, Yuchen Liang, Yingbin Liang, Liyue Shen·· 4 小时前
从注意力探测到引导微调：理解统一 VLM 的多模态生成机制
Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation
AI 导读
研究通过探测注意力头，揭示统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头，且该模式跨样本稳定。基于此提出推理时干预方法 HeadTuned-CFG，在注意力头级别选择并调节条件引导，无需额外训练即可在两种生成方向上取得一致收益，T2I 生成相对强基线提升显著。
来源：arXiv · cs.AI · arxiv.org