arXiv · cs.LG· David Jin, Beshr IslamBouli, Tarushii Goel, Han Guo, Yoon Kim·· 3 小时前
BiLoCo：用二值低秩修正改进训练后量化
BiLoCo: Binary Low-Rank Corrections for Post-Training Quantization
AI 导读
BiLoCo 提出一种低秩修正方法，将左右因子存为二值 {±1} 符号向量而非 BF16 数值，每个秩一分量的存储降低 16 倍，且修正转为加减运算可在 CUDA core 上与 FP4 tensor-core GEMM 并行执行。
来源：arXiv · cs.LG · arxiv.org