麻省理工学院(MIT)展示AI模型直接编辑神经网络权重的能力
MIT计算机科学与人工智能实验室(CSAIL)的Rikiya Takehi及其同事展示了一项突破性技术:GPT-6 Astra能够将神经网络的权重作为文本读取,并对其进行精确修改,整个过程无需训练,也无需梯度计算。这种方法被称为“权重空间编程”(Weight-Space Programming)。
在一项测试中,Astra仅修改了Qwen3.5-0.8B模型8亿个参数中的0.016%,便取得了显著的性能提升:
- MATH-500数学测试:准确率从7.9%提升至48.1%。
- GSM8K数学推理测试:准确率从13.8%提升至67.1%。
- 指令遵循能力:评分提高至原来的3倍。
更令人惊讶的是,Astra甚至能够仅通过分析神经网络权重,识别出《Breakout》(打砖块)等游戏的决策策略,并从零开始构建高性能神经网络。
这一成果表明,先进AI模型可能很快就能直接优化其他AI模型,而不再依赖传统的训练过程。
包括Ethan Mollick在内的专家认为,这是一项意义重大的突破。不过,相关结果仍有待更广泛的独立复现,业界也已开始讨论这项技术可能催生的新工具及其潜在风险。