严骏驰团队提出JTok与xHC架构改进

上海交通大学严骏驰团队在CNCC 2026报告《大模型新架构探索：JTok & xHC》中介绍两项Transformer架构扩展方案。JTok为每个token配置可学习参数表，以查表和逐元素运算调制模型更新，替代大规模矩阵乘法；xHC将残差流从四路扩展到十六路，采用稠密读取、稀疏写回以提高模型容量。 严骏驰称，在MoE实验中，底座与JTok-M的前沿在对数坐标下均呈强线性关系，斜率接近，JTok-M前沿整体下移；训练端可节省算力，但其工程实现中推理延迟仍增加约7%。完成算子融合等优化后，相比mHC，吞吐性能的额外开销约为1.3%。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。