Fast LapSum:百万级规模下精确可微 Top-k 求解器
Fast LapSum 是面向 LapSum 软 Top-k 公式的可扩展求解器,在保持精确选择质量 k 的同时支持端到端可微。它通过基于二项式顺序统计量的概率括界将排序限制在阈值附近的窄带内,并用一次额外线性遍历的认证过程升级为可验证定位,最坏情况回退到全排序。
Fast LapSum 是面向 LapSum 软 Top-k 公式的可扩展求解器,在保持精确选择质量 k 的同时支持端到端可微。它通过基于二项式顺序统计量的概率括界将排序限制在阈值附近的窄带内,并用一次额外线性遍历的认证过程升级为可验证定位,最坏情况回退到全排序。
研究者提出 Predictive-State Flows(PSF),将序列分块并为每块关联一个仅由前文计算的预测状态,由 rectified-flow 先验生成预测状态序列,再由块因果解码器并行生成所有块。
AutoIndexer 提出一种新的训练与解码机制,通过模拟 Chain of Edits,让模型能以 token 插入、替换和删除的方式灵活修改已生成的输出,类似文本编辑器移动光标。
研究证明基于 Transformer 的掩码扩散模型(MDM)能以受潜在结构约束的样本复杂度学习结构化分布,当数据分布可由隐马尔可夫树混合模型良好近似时,采用并行解掩码调度的 MDM 仅需 Õ(LK_par/ε) 个训练样本即可达到 KL 散度下的 ε 精度采样,其中 K_par 与序列长度 L、词表大小 V、隐藏状态数和混合分量数呈多项式关系。