OmniOPD：音视频联合生成的在线蒸馏框架

Zihao Fan 等作者提出 OmniOPD，一个面向音视频联合生成的模态级在线策略蒸馏框架，用于解决跨模态 token 数量失衡导致的音频监督稀疏和蒸馏不稳定问题。 该框架用非对称噪声调度构造特权视觉信息，用分组多噪声采样扩大音频监督覆盖，并按教师-学生转移散度做时间步级重要性加权。作者称，在 JavisBench 和 VBench 上，OmniOPD 在保持音频质量的同时显著提升视频生成效果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。