BiLoCo:二值低秩校正的PTQ方法
热点事件持续更新
BiLoCo:二值低秩校正的PTQ方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
David Jin 等作者提出 BiLoCo,一种用于训练后量化(PTQ)的二值低秩校正方法。其做法是把低秩修正的左右因子存成 {±1} 符号向量,而不是 BF16 数值,使每个秩一分量的存储降低 16 倍。 由于修正运算变成加减法,BiLoCo 可在 CUDA core 上与 FP4 tensor-core GEMM 并行执行。上述存储与并行效果为论文作者的说法。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
BiLoCo:用二值低秩修正改进训练后量化报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv · cs.LGBiLoCo:用二值低秩修正改进训练后量化
BiLoCo 提出一种低秩修正方法,将左右因子存为二值 {±1} 符号向量而非 BF16 数值,每个秩一分量的存储降低 16 倍,且修正转为加减运算可在 CUDA core 上与 FP4 tensor-core GEMM 并行执行。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。