雷峰网 · AI·· 5 小时前
严骏驰团队提出 JTok 与 xHC 两条 Transformer 架构改进思路
Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026
AI 导读
上海交通大学严骏驰团队在 CNCC 2026 提出 JTok 与 xHC 两种 Transformer 扩展方案:JTok 为每个 token 配置可学习参数表,以查表和逐元素运算替代大规模矩阵乘法;xHC 将残差流从四路扩展到十六路,采用稠密读取、稀疏写回。
来源:雷峰网 · AI · leiphone.com