用扩散模型做离线 Deep Q* 估计

研究者提出一种将算子估计与价值函数学习解耦的离线 RL 框架：先用条件扩散模型估计奖励律与转移核，由此得到最优 Bellman 算子的数据驱动近似，再通过最小化神经网络上的经验 Bellman 残差得到 Q* 的深度估计。