看了Brian Keating对陶哲轩(Terence Tao)长达一个多小时的访谈。整体感觉,这更像是一场面向大众的数学科普,而不是一场关于AI、数学前沿或者未来科学理论的深度讨论。对他们讨论的内容有点小失望。
视频前半部分主要围绕一些经典数学话题展开,包括Benford定律、高维几何、反证法、复数、孪生素数猜想、密码学和量子计算等。陶哲轩用比较平实的语言,介绍了数学家如何理解这些问题,也解释了为什么高维空间、无穷、复数这些概念经常违背普通人的直觉。这部分讲得很清楚,也涉及不少数学上的专业内容,但大多属于已经比较成熟的知识,没有太多令人意外的新观点。
后半部分逐渐转向AI。主持人提出了一些很有意思的问题,例如为什么Transformer会产生涌现能力,为什么一个主要由矩阵运算和微积分构成的系统,经过大规模训练之后,会表现出语言、推理甚至数学能力;未来是否可能出现一套新的数学,用来真正解释大语言模型。
不过,陶哲轩并没有给出特别明确的答案。他的核心观点仍然是,我们目前并不真正理解大语言模型为什么会表现出这些能力,也没有一套成熟的数学理论能够描述它们的内部行为。现有数学可以解释Transformer的基本结构和训练过程,却很难解释能力为什么会在某个规模之后突然出现,也很难预测模型在什么问题上会成功,在什么问题上会失败。
这应该也是我对这场访谈稍微有些失望的地方。我原本比较期待陶哲轩能够从顶尖数学家高屋建瓴的角度,谈一谈AI背后可能需要什么样的新数学,例如高维几何、统计物理、动力系统、信息论或者其他新的理论框架。但他更多只是指出,目前的理论还不够,我们仍然处在依靠实验观察模型行为的阶段。这个判断当然很诚实,也很可能是正确的,但他并没有进一步讲清楚,未来的理论可能从哪里产生,或者哪些数学方向最值得探索。
关于AI,他强调最多的还是模型的不可靠性。大语言模型可以生成非常流畅、看起来也很专业的答案,但它们并不知道自己什么时候出错。因此,AI可以用于搜索、整理材料、提供思路和辅助计算,却不能被当成最终权威。未来教育中最重要的能力,也许不再只是获得答案,而是验证答案、批判答案,并判断一段看似合理的推理究竟是否成立。
这一点我比较认同。AI生成内容的能力越来越强,但生成能力和判断能力并不是一回事。未来真正稀缺的能力,可能不是写出一段完整答案,而是识别其中隐藏的错误,知道应该检查什么,也知道什么时候不能相信模型。
访谈最后讲到压缩感知(Compressed Sensing)和MRI。这是陶哲轩自己参与的应用型的一个研究。
总体来说,这场访谈的数学科普部分讲得很好,也可以让普通观众了解数学家的思维方式。但如果期待从中听到陶哲轩对AI提出一套新的数学解释,或者听到他对Transformer和大语言模型给出更深入的理论判断,可能会感到失望。
一个多小时听下来,最明确的结论反而是:对于今天的AI,我们仍然缺少真正有效的数学理论,甚至最顶尖的数学家也只能承认,目前还没有人把这个问题讲清楚。
https://t.co/ic1lFYh07i