arXiv · cs.LG· Wang Ru·· 2 小时前
高斯先验何时失效？RL 微调的潜在几何研究
When Do Gaussian Priors Fail? A Latent Geometry Investigation of RL Fine-Tuning
AI 导读
研究发现，潜扩散模型普遍采用的高斯先验在强化学习微调下存在结构性缺陷：标准 VAE 的 KL 项会主动惩罚模态分离，多模态数据被压缩进重叠的潜在空间。在真实丙氨酸二肽玻尔兹曼分布上，高斯先验 VAE 在 beta_c = 0.224 时崩溃，而模态追踪的高斯混合先验在 0.00316 时崩溃，同一流程下相差 71 倍。
来源：arXiv · cs.LG · arxiv.org