别得意,小心“数字禁卫军”:AI对专制政权来说,同样是双刃剑
2022年3月,俄罗斯全面入侵乌克兰两周后,俄罗斯第一频道晚间新闻节目正在播出。编辑Marina Ovsyannikova突然冲进演播室,站在主播身后,高高举起一张手写标语:“停止战争。不要相信宣传。他们在骗你!”
她一边高喊“不要战争!”,一边被人拖离镜头。那一刻,电视直播中短暂出现了一道来自体制内部的裂缝。
但两年多后,俄罗斯电视屏幕上的“人”可能已经不需要再冒这样的风险了。2024年10月,俄罗斯RT电视台负责人Margarita Simonyan透露,越来越多的主播其实并不存在——“那个脸不存在,我们生成了声音以及其他一切。”她解释说,AI主播不需要工资和保险,不会被逮捕,警察也不会搜查他们的家。“一切都很美妙,同时也很可怕。”
这正是人工智能对于独裁政权最诱人的承诺:不再依赖那些可能背叛自己的下属。
这是专制统治几百年来一直无法摆脱的难题。独裁者虽然掌握巨大权力,却不可能亲自完成所有事情。他们必须依靠审查员、宣传人员、警察、情报人员和地方官员。但人一旦被赋予权力,就可能撒谎、偷窃、泄密,甚至密谋反抗。因此,独裁者往往宁愿重用能力平庸的人,因为正如Hannah Arendt所说,无能有时恰恰是忠诚的最佳保证。然而,这种做法又会让政府变得低效,甚至在危机中不堪一击。
AI似乎提供了另一条道路。一方面,它可以实时监控官员的行为,例如自动发现某个地方官员突然增加的消费或者异常的日程安排;另一方面,它还可以直接取代许多原本需要人作出判断的工作。俄罗斯数字发展部长Maksut Shadaev甚至表示,AI“肯定可以替代一半官员”,甚至可能更多。
中国已经走在这条道路前面。北京、上海等地的智慧城市系统开始利用AI监督地方官员;所谓“零信任AI系统”曾在大约30个县市运行,通过交叉比对150多个政府数据库来发现贪污和裙带关系,一度识别出8700名官员,结果反而因为触动了地方官僚的利益而被逐步收缩。与此同时,中国的电子政务减少了面对面办事,也就减少了滋生小规模腐败和关系操作的空间;网络宣传体系中,过去由人工操纵的评论者也正在被机器人取代。
俄罗斯也在做类似的事情。莫斯科覆盖约20万台摄像机的人脸识别系统,曾被用于识别和抓捕抗议者;2023年推出的“Oculus”系统每天扫描数十万张图片,寻找包括政治内容在内的“违规信息”;安全机构开发的“梅利奥拉托尔”(Meliorator)工具,则可以批量制造虚假的美国人账号,在社交平台上传播克里姆林宫叙事。
问题在于,AI并不会创造一个真正“不需要人”的国家。
恰恰相反,越依赖AI,独裁者就越依赖那些能够让AI正常运转的人。 AI系统需要工程师、程序员和数据科学家维护,而这些人的技术专业性,往往是政治领导人无法真正理解和评估的。更危险的是,工程师不只是维护机器,他们还决定机器看到什么、忽略什么,以及哪些信息最终能够送到统治者面前。谁控制算法,谁就可能控制统治者的“眼睛和耳朵”。
俄罗斯IT人才的大规模外流已经说明了这种依赖。2022年战争爆发后,大约10万名俄罗斯科技从业者离开,其中约占该国科技劳动力的十分之一。面对这一局面,克里姆林宫并没有简单地强行征召,而是提供缓征、税收优惠和住房补贴,甚至在动员30万人时给予IT人员豁免。原因很简单:专业能力很难靠强迫获得,更难在短时间内培养替代者。
这里的情况让人想起一个古老的故事——罗马禁卫军。最初,禁卫军是皇帝最可靠的保护者;但当他们逐渐意识到自己不可替代之后,便从保护者变成了可以决定皇帝命运的力量。到后来,他们甚至把帝国的皇位拿来竞价。
现代AI时代也可能出现类似的“数字禁卫军”。2023年Yevgeny Prigozhin的“瓦格纳”部队向莫斯科进军时,普丁需要依靠安全部门告诉自己发生了什么。未来的独裁者或许不会再等待官员汇报,而是依靠算法分析通信、摄像头和地方数据。但如果掌握这些系统的工程师选择延迟信息、关闭监控、降低识别精度,甚至故意让警报晚几个小时到达,统治者就可能突然变成“盲人”。
这并不意味着程序员会亲自发动政变——他们通常没有军队和枪支。但历史已经出现过技术人员改变政治局势的先例。1991年苏联政变期间,Relcom网络的几名程序员帮助把信息传到国外,并把叶利钦的命令传播给国内外公众。政变者无法切断这些信息,三天之内政变便宣告失败。
并不是说AI会让独裁制度立刻崩溃。恰恰相反,在短期内,AI可能让专制政府拥有更便宜的监控、更高效的审查,以及更少需要提防的普通官员。它确实可能帮助独裁者“瘦身”政府,让他们更轻松地监督剩下的人。
但这也是AI最深的悖论:它能够帮助独裁者摆脱对普通人的依赖,却无法摆脱对人的依赖本身。
机器看似削弱了官僚体系,实际上却把权力集中到了更少、更专业、也更难替代的一群人手中。旧时代的禁卫军可能人数众多,而AI时代的“数字禁卫军”也许只需要几十名甚至更少的关键工程师。他们人数越少,系统的脆弱点反而越集中。
所以,对独裁者而言,AI或许不是终结“下属困境”的技术,而只是把这个困境从官僚办公室搬进了服务器机房。机器不会背叛,但制造、维护和控制机器的人,仍会拥有自己的利益、判断和选择。而这正是任何试图用技术彻底消除政治风险的统治者,最终都无法逃避的现实。
* 本文编译自《外交事务》文章(如图)
* 原文链接:https://t.co/qOMQDsYiyH
点击图片查看原图