微软研究员谈AI评测的意外失败

微软合伙人研究经理 Jennifer Neville 在 Microsoft Research 播客中称，把模型放到传统 benchmark 之外测试时会出现"意外失败"，因此不应期望模型在所有场景下都 100% 成功。她表示，评测是推动 AI 系统性能边界、贴合用户需求的关键。 Neville 称其团队并非直接查看数据，而是以保护隐私的方式大规模分析数据，从中提取失败或成功的模式。该说法来自其研究观点，未给出具体评测结果或适用模型范围。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。