跳到正文
arXiv · cs.AI· Hongeun Kim, Jeongsol Kim, Jong Chul Ye·· 16 小时前

LeNO:为少步生成模型学习噪声优化实现奖励对齐

Learning Noise Optimization for Reward Alignment in Few-Step Generative Models

AI 导读

LeNO 将奖励引导的初始噪声优化摊销为学习式残差传输,在冻结预训练生成器的前提下,用 Local GRPO 和标量奖励学习以锚点为条件的噪声修正分布,推理时无需迭代搜索。该方法在少步文本生图和蛋白质结构生成上均提升了目标奖励,同时基本保持生成质量与多样性,单次噪声修正即可完成。针对高斯初始噪声与保范投影,作者还推导出修正噪声分布与原始先验之间 KL 散度的可处理上界,作为正则化目标。

来源:arXiv · cs.AI · arxiv.org