arXiv · cs.AI· Junjie Wang, Keyu Chen, Yulin Li, Bin Chen, Hengshuang Zhao, Xiaojuan Qi, Zhuotao Tian·· 1 天前
DeCLIP：解耦自注意力提升 CLIP 开放词汇密集感知能力
Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception
AI 导读
DeCLIP 通过解耦 CLIP 自注意力模块分别获得“内容”与“上下文”特征，以增强开放词汇密集感知。上下文特征联合蒸馏视觉基础模型（VFM）的语义关联与扩散模型的目标完整性线索以提升空间一致性，内容特征则对齐图像裁剪表示并用 VFM 区域关联约束以改善局部判别性。该框架在 2D 检测与分割、3D 实例分割、视频实例分割和 6D 物体位姿估计等任务上均取得 SOTA。
来源：arXiv · cs.AI · arxiv.org