跳到正文
雷峰网 · AI·· 5 小时前

严骏驰团队提出 JTok 与 xHC 两条 Transformer 架构改进思路

Transformer 架构还能咋改?严骏驰团队提供两条思路 | CNCC 2026

AI 导读

上海交通大学严骏驰团队在 CNCC 2026 提出 JTok 与 xHC 两种 Transformer 扩展方案:JTok 为每个 token 配置可学习参数表,以查表和逐元素运算替代大规模矩阵乘法;xHC 将残差流从四路扩展到十六路,采用稠密读取、稀疏写回。

来源:雷峰网 · AI · leiphone.com