李飞飞创办的 World Labs 被 AMD 收购,她本人出任 AMD 执行副总裁兼首席科学家。这篇文章是她写的公开信,讲了三件事:
- 为什么创办 World Labs
- 两年多 World Labs 做出了什么
- 为什么选择 AMD
她为什么创办 World Labs
李飞飞从 2000 年读研开始做计算机视觉。她实验室做的 ImageNet,和神经网络算法、GPU 一起,被公认为开启了现代深度学习时代。之后她做过 Google Cloud AI 首席科学家,也是斯坦福 HAI 的创始院长。
生成式 AI 兴起后,前沿研究的重心从学术界转到了工业界,她判断创业是最能产生影响的路。2024 年初,她和 Ben Mildenhall(NeRF 的作者之一)、Justin Johnson 一起创办了 World Labs。
公司的核心信念是:光靠语言训练不出完整的智能。世界不是由文字组成的,是由真实的物体组成的。科学、娱乐、机器人这些领域的很多关键问题,都需要模型理解物理世界的结构和运行规律。这就是她一直说的“空间智能”。
两年多做出了什么
建了一支在图像、视频、三维重建方向很强的模型训练团队,还收购了 SceniX,目标是做机器人仿真。
最近发布了 Atlas,一个从零训练的全模态(omni)模型。它的思路很好懂:大语言模型根据前文预测下一个 token,Atlas 根据几张 2D 图像预测“下一个视角”该是什么样子。
她说 Atlas 把生成模型和多视角几何结合起来,基本解决了计算机视觉里的老难题“稀疏重建”,效果甚至超过了专用模型。
应用方向包括:给机器人强化学习搭建训练环境,为心理治疗和娱乐生成场景,以及房地产、设计、建筑行业的真实场景重建。
为什么是 AMD
她给的理由是,要把研究放大,就得离硬件更近。没有硬件,AI 的效率和规模都会受限,而且只能停留在数字世界里,这一点对机器人方向尤其重要。
AMD CEO 苏姿丰是 World Labs 的早期投资人,两家公司去年就开始深度合作,在 AMD GPU 上做模型训练和推理优化。
合作越深入,双方越觉得把软硬件、基础模型和应用整合在一起是顺理成章的事。
她还特意强调,加入 AMD 之后会继续开放地做研究,提供最好的开放模型和端到端平台。