以顾问身份加入腾讯时,姚顺雨任务只有一个:排查混元大模型长期落后的原因。排查结果是:“简单来说,几乎每个环节都在漏水。” 混元过度追求榜单成绩,把打榜语料放进训练集污染了数据,模型变得很会考试,但在真实场景表现很差。当时数据标注准确率的验收线定在 95% ,实际却长期停留在 60%-70%,团队为了交差生产出大批无法使用的数据,算法团队默许了这一切。 来自《晚点》。
只需要几秒!
创建帐户
已拥有账号并想要登录?
登陆 忘记密码?