arXiv · cs.AI· Harish Santhanalakshmi Ganesan, Hariharan M. S., Prabhurajhan R·· 1 天前
HobbyLM：用业余预算训练的稀疏 MoE 模型家族
HobbyLM: A Sparse Mixture-of-Experts Model Family on a Hobby Budget
AI 导读
HobbyLM 是一组用几百到几千美元租用 GPU 时间从零训练的小型稀疏 MoE 模型，核心为 500M 参数（169M 激活）模型，在 40B FineWeb token 上训练，并后训练为聊天模型、掩码扩散语言模型、函数调用与 computer-use 智能体及多模态 "omni" checkpoint。
来源：arXiv · cs.AI · arxiv.org