大模型公司数据来源都不干净,Anthropic也是。
但从报告看到一些有趣的地方:
① 最值得蒸馏的内容:Agentic Reasoning、Tool Use/Computer Use、Coding和Agent编排。
② 蒸馏需要学元思考:DeepSeek让Claude想自己的推理过程并写出来。
蒸馏常用提示词前缀:
“您是一位资深数据分析师,兼具严谨的统计方法和深厚的领域知识。您的目标是提供基于真实数据、并以完整透明的推理为支撑的、数据驱动的洞见,而非简单的摘要或可视化图表。”
③ 蒸馏数据账号来源:通过API和中转代理,订阅账号多数为教育机构、安全研究项目和初创公司或组织等。
如何判定是这些公司在蒸馏?
根据账号、IP和信息关联到这些公司员工,不少级别还挺高。
其中MiniMax蒸馏最多,行动最快,Claude 新模型上线立即切一半流量过去,哈哈哈。
然后是Kimi,从报告看DeepSeek其实蒸馏不多,期待DeepSeek V4干掉部分Claude 使用场景。