跳到正文
arXiv · cs.AI· Zihao Fan, Xin Lu, Jie Huang, Hexin Zhang, Xueyang Fu, Zheng-Jun Zha·· 20 小时前

OmniOPD:面向音视频联合生成的稳定在线策略蒸馏框架

OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation

AI 导读

OmniOPD 是一个面向音视频联合生成的模态级在线策略蒸馏框架,用于解决跨模态 token 数量失衡导致音频监督稀疏、蒸馏不稳定的问题。该框架通过非对称噪声调度构造特权视觉信息、分组多噪声采样扩大音频监督覆盖,并按教师-学生转移散度做时间步级重要性加权。在 JavisBench 和 VBench 上,OmniOPD 在保持音频质量的同时显著提升视频生成效果。

来源:arXiv · cs.AI · arxiv.org