雷峰网 · AI·· 18 小时前
百度开源文心5.5 Flash Base基座模型,多基准刷新同尺寸SOTA
百度开源文心5.5 Flash Base,多基准测试刷新同尺寸模型 SOTA
AI 导读
百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数量2800亿,每个Token激活140亿参数,预训练使用33.5万亿Token,预训练上下文最高128K,微调与推理阶段支持最长100万Token上下文。
来源:雷峰网 · AI · leiphone.com