arXiv · cs.AI· Kwanyoung Kim·· 1 天前
VaLoP:面向奖励引导扩散模型的价值梯度前瞻与回拉方法
VaLoP: Value Gradient Lookahead and Pullback for Reward-Guided Diffusion
AI 导读
研究者提出 VaLoP 与 VaLoP-Fast,通过评估更少噪声状态下的价值并将梯度回拉到当前状态,降低奖励引导扩散采样中价值梯度的后验协方差误差。VaLoP 用一次向量-雅可比积计算生成器校正项,VaLoP-Fast 则用小型预测头摊销该计算,在文生图模型上仅需训练单个奖励即可复用于其他奖励。
来源:arXiv · cs.AI · arxiv.org