李开复

物无对错，人分善恶。对于技术而言，也是如此，它本身是中立的，关键在于人类用技术为善，还是作恶。对于人类来说，每一项全新的突破性技术，都宛如“薛定谔的猫”，既可以是普罗米修斯之火，也可能沦为潘多拉之盒。是善是恶，不在于技术本身，而在于操控技术的人。这就是《人类刹车计划》想要讲述的原则。

这篇故事提到了许多先进技术。在此，我们将集中介绍其中两项——量子计算和自主武器。我预测，到了2041年，量子计算有80%的概率进入实用阶段。如果这能够成真，它带给人类的影响将会远超AI。量子计算是一种通用目的技术，不仅可以极大地促进科技进步，还能够帮助人类真正了解宇宙。

同历史上出现过的各种通用目的技术一样，量子计算将给人类带来巨大的正面影响。不过，量子计算在未来的第一项重大应用，很可能是破解比特币密钥（该应用出现在《人类刹车计划》这个故事的开篇）。陈楸帆在深思熟虑后选择这个主题，用意是希望让读者带着双刃剑的认识去理解这项崭新的技术。需要指出的是，当你读完故事，在开始思考如何防止类似的犯罪行为发生在现实中的同时，千万不要误以为这项技术只能作恶，我们仍然相信量子计算对人类未来的影响绝对是利大于弊。

自主武器是《人类刹车计划》中提到的另一项重点技术，它同样既可以用来为善，也可以用来作恶。一方面，当战争成为机器的对决时，使用自主武器可以少牺牲很多士兵的生命;另一方面，自主武器也有可能成为进行大规模或针对性屠杀的机器“刽子手”。在后者带来的灾难性威胁面前，这项技术的一切益处都变得不值一提。此外，自主武器不仅可能导致各国军备竞赛失控，还可能被恐怖分子用于暗杀国家领导人或其他关键人物。无论如何，我希望《人类刹车计划》这个故事展现的种种暴行可以给人类敲响一记警钟，让人类认清这项AI技术被滥用的严重后果。

量子计算机将会为AI进步提供强劲的推动力，为机器学习带来革命性的变化，而且有潜力解决那些曾经让人们感到束手无策的难题。

我相信AI可能是迄今为止最重要的计算机技术。但是，到了2041年，如果量子计算技术能进入实用阶段，它将引领我们真正认识自然、科学和我们自身，在这样的成就面前，AI技术也将阶段性让位。

量子计算机的计算架构运用了量子力学原理，它在执行某些类型的计算时，效率将远超传统计算机。

传统计算机的最小信息单位是比特，它的值或者是1，或者是0，就像一个开关一样。我们现在用的每一个应用程序、网页、图片，都是由成千上万个这种传统比特组成的。用这种二进制的比特构建、控制计算机相对比较容易，但它在解决真正复杂的计算机科学难题方面潜力有限。

量子计算机的信息存储和运算使用的则是量子比特，例如电子和光子等亚原子粒子比特。这些粒子所具有的非同寻常的属性为量子比特带来了超级算力。这种非同寻常的属性就是量子力学原理，主要包括态叠加原理和量子纠缠原理。

首先，我们来了解一下态叠加原理。态叠加原理指一个量子比特能同时处于多种可能状态。换句话说，量子比特会“分身术”，几个量子比特就能同时处理海量的计算结果。如果你想让一个运行在传统计算机上的AI找到在游戏中获胜的方法，那么它会一一遍历所有的可能性，然后把每一个结果汇总到“大脑中枢”，最终找到一条获胜的路径。在量子计算机上运行的AI，则会以极快的速度遍历所有的可能性，而且这个问题的复杂程度也会随之呈指数级下降。

接下来，我们再看看什么是量子纠缠。量子纠缠指两个量子比特无论相距多远，都会保持联系——一个量子比特的状态发生变化会影响另一个量子比特，就好比一对存在心电感应的双胞胎。由于量子纠缠所具备的特性，量子计算机每增加一个量子比特，算力就会成倍提升。如果我们想让一台价值一亿美元的超级传统计算机的算力翻倍，可能还得再投入一亿美元。但要让一台量子计算机的算力翻倍，我们只需要再增加一个量子比特就可以了。

当然，要想实现这些神奇的特性，需要付出相应的代价。量子计算机对自身内部硬件的要求非常高，对周围环境非常敏感，轻微的振动、电气干扰、温度变化、电磁波等，都可能导致量子的纠缠态衰减甚至消失。为了让量子计算机稳定运行且具备可拓展性，研究人员必须发明新的技术，为量子计算机量身打造真空室、超导材料和超低温环境，尽可能降低来自环境因素的干扰。

由于这些客观存在的难题，科学家花了很长时间才让量子计算机拥有更多的量子比特。1998年，有两个量子比特的量子计算机就已经亮相，到了2020年，最先进的量子计算机也只有六十五个量子比特，远不够执行真正有价值的任务。不过，即便目前的量子计算机只有两位数的量子比特，但在执行某些计算任务时，仍然比传統计算机快百万倍。

谷歌在2019年首次宣布实现“量子霸权”，其有五十四个量子比特的处理器，能够在几分钟内便解决需要传统计算机耗费很多年时间才能算出结果的问题。但可惜的是，这并没有什么实际意义。那么，我们什么时候才能拥有足够的量子比特来解决真实世界的问题呢？

IBM在2020年发布的技术线路图显示，在未来三年内，量子计算设备上的量子比特数目将每年翻一番，预计到2023年有望突破一千个量子比特。如果乐观地推算下来，有四千个量子比特的量子计算机的算力将足以像《人类刹车计划》里所描述的那样破解比特币密钥。因此，有乐观主义者预测，实用型量子计算机将在五到十年内问世。

然而，他们可能忽略了量子计算面临的一些巨大挑战。例如，IBM的研究人员表示，随着量子比特数量的增加，量子退相干引起的误差会更加难以控制。为了解决这一问题，人们需要利用全新的技术和精密工程手段，构建精细、复杂但非常脆弱的硬件基础。此外，由于存在退相干误差，每个逻辑量子比特都需要额外的多个物理量子比特来进行纠错，以确保整个系统的稳定性和容错率达标，因此一台量子计算机预计需要上百万个物理量子比特，才能发挥出四千个逻辑量子比特应该有的算力。而且，即便我们成功制造出了一台实用型量子计算机，量产又将成为摆在人们眼前的另一个难题。最后，量子计算机与传统计算机的编程方式完全不同，人们需要发明新的算法，开发新的软件工具。

考虑到这些挑战，大多数专家认为，实用型量子计算机可能需十到三十年才会问世。根据专家们的意见，我认为，到2041年，我们将有80%的概率见证搭载四千个逻辑量子比特（即超过一百万个物理量子比特）的超强量子计算机出现，它将如《人类刹车计划》中所描述的那样，有能力破解如今的比特币密钥。

当这种有上百万个量子比特的量子计算机真正投入使用时，我们将在药物研发领域获得改变世界的机会。今天的超级计算机只能分析最基本的分子结构。但是，有潜力制造药物的分子的种类却比可观测宇宙中所有原子的种类还要多得多。解决这种量级的问题就需要量子计算机，它的运算过程体现了与它所模拟的分子相似的量子特性。量子计算机可以在模拟新药分子结构的同时，对其进行复杂的化学反应建模，以确定药物的疗效。

目前，这也是量子计算最先商用的领域之一。谷歌在宣布实现“量子霸权”后，便把模拟新药分子作为下一个突破方向。腾讯的量子实验室，也明确表示已开展了该方向的合作和探索。

1980年，著名物理学家理查德·费曼说：“如果你想模拟大自然，你最好让它以量子的方式运行。”的确，量子计算机可以模拟许多传统计算机无法理解的复杂的自然现象。除药物研发外，量子计算机在应对气候变化、预测疫情风险、发明新材料、探索太空、模拟大脑以及理解量子物理等方面也大有可为。

此外，量子计算机也将成为促进AI发展的最重要的助推器。它的作用不仅仅是让深度学习算法运行得更快。人们可以在一台量子计算机上编程，让量子比特表示出所有可能的解决方案，然后整个系统会并行地为每个可能的解决方案打分，接下来量子计算机将尝试在很短的时间内找到最佳答案。量子计算和AI的结合可能带来革命性的飞跃，并且解决现在无解的问题。

在《人类刹车计划》中，天才物理学家马克·卢梭曾经利用量子计算的突破性成果窃取比特币。

比特币是迄今为止世界上规模最大的加密货币，可以兑换成黄金、现金等各种资产。它不像黄金那样本身就有价值，也不像现金那样能够得到政府和中央银行的背书。比特币虚拟地存在于互联网上，通过计算来保证其自身和交易的真实性。这种保证，来自其加密算法无法被传统计算机破解。比特币的数量上限被设定为二千一百万枚，这避免了货币超发和通货膨胀。在新冠疫情期间，很多公司和个人开始寻找不受中央银行量化宽松政策影响的安全资产，于是便把目光转向了比特币。因为这些人的追捧，比特币的价格持续上涨。2021年3月，比特币的总值超过了一万六千亿美元，比一年前涨了十二倍。

与前面我们提到的那些重要应用相比，用量子计算机来窃取比特币似乎有点“大材小用”了。但破解加密货币是目前已知为数不多的能被一台初级的量子计算机解决的问题，而且也可能是第一个让人觉得有利可图的量子计算应用。虽然量子计算的某些应用需要研究人员耗费多年时间才能开发出来，但破解比特币密钥的算法却早已被提出。1994年，麻省理工学院教授彼得·肖尔在一篇开创性论文中提出了用量子算法来有效解决质因数分解问题，一旦有了约四千个量子比特的量子计算机，用这个量子算法就可以破解一些非对称加密算法，例如当下最普遍的RSA加密算法。

有人认为，正是这篇论文激发了人们对量子计算的关注和兴趣。

比特币使用的就是彼得·肖尔教授提出的量子算法所能破解的RSA非对称加密算法。RSA这类非对称加密算法需要两个密钥：公钥和私钥。这两个密钥是在数学上相关的长字符序列。从私钥到公钥的转化非常简单，而在传统计算机上，从公钥到私钥的转化是不可能实现的。

举个例子，如果你向我发送一枚比特币，会列出一串转账信息，包括我的比特币钱包地址这一公钥，相当于公开发布了一份“存款单”。虽然每个人都可以看到公钥，但只有我拥有私钥，于是也就只有我才能用它进行数字签名，打开“存款单”完成交易。只要其他人都不知道我的私钥，这种交易方式就是完全安全的。

但在量子计算出现后，一切都变了。与传统计算机不同，量子计算机能够根据任何公钥快速生成对应的私钥，采用RSA算法以及一些类似的加密算法的私钥在量子计算机面前都将“无所遁形”。因此，量子计算机只需访问公共账本（所有交易都在这里过账），获取所有的公钥，然后再逐个生成私钥数字签名，就可以盗取所有账户中的比特币。

看到这里，你可能产生以下一些疑问。

为什么人们会公开他们的钱包地址和公钥？其实这是比特币的早期设计缺陷。比特币专家已经意识到了这个漏洞。自2010年起，基本上所有新发起的比特币交易都采用了一种名为P2PKH（Pay To Public Key Hash）的新格式，在这种格式下，地址是隐藏的，更加安全（尽管也不能完全免于被攻击）。不过，仍有二百万比特币是以存在漏洞的旧格式P2PK存储的。按照2021年3月的比特币价格（每枚比特币六万美元）计算，二百万比特币的价值就是一千二百亿美元，这也是在《人类刹车计划》中被盗币者盯上的“宝藏”。如果你曾在P2PK格式下存放过比特币的话，那就赶快想想怎么保护你钱包里的那笔“巨资”吧！

为什么人们不把自己存储在旧格式下的比特币转移到安全的地方？这个想法很合理，但是很多人就是没有这么做。对此，我能想到的原因有三点。第一，许多人很早之前就丢失了自己的私钥，可能是由于私钥太长了所以没记下来。特别是在十年前比特币并没有如今这么值钱的时候，即便忘了私钥，人们也没那么在意。第二，这些比特币持有者可能一直不知道上面提到的漏洞。第三，在这二百万枚比特币中，大约有一百万枚比特币归传说中的中本聪所有，但这位神秘的比特币发明者似乎已经销声匿迹了。这笔“中本聪的宝藏”自然而然就成了盗币者梦寐以求的财富之源。

為什么所有的交易都要在公共账本上过账？这种设计是为了让任何公司或个人都无法掌管比特币。去中心化的公共账本存储在许多计算机上，无法被篡改。这是一个很巧妙的设计，只要没有人能根据公共账本上的公钥反向推导出私钥，这种设计就是万无一失的。这种设计也让区块链具备了保证信息无法被篡改的能力，会衍生出很多非常有价值的应用，比如确认数字版契约、合同或遗嘱的真实性等。

如果真的发生了比特币盗窃案，失主怎么挽回损失呢？事实上，失主是没有办法报案或者起诉偷盗者的。除了偷盗者不易被锁定之外，比特币的交易也不受银行法的保护和约束，因为比特币不受任何政府或公司的管控。任何拥有正确私钥的人都可以把比特币放到自己的钱包里，在法律上，这是一块空白地带。

故事里的马克·卢梭既然手眼通天，为什么他不锁定银行系统作为目标？首先，银行系统没有保存着公钥的公共账本，马克·卢梭无法根据公钥计算出私钥。其次，银行有监控软件，会时刻关注异常情况（如可疑的大额转账）。再次，把钱转移到其他账户的过程是可以被追踪的，这种行为一旦被发现，就会被追究法律责任。最后，银行交易使用的加密算法和比特币的不同，需要更多的时间来破解。

说到这里，那么如何提升加密算法的安全性呢？其实，“防量子”算法已经出现了。彼得·肖尔也证明了，人们可以利用量子计算机构建坚不可摧的加密算法。哪怕入侵者使用了强大的量子计算机，也无法破解这种基于量子力学的加密算法。只有当量子力学原理被发现存在错误时，入侵者才会有机可乘。

不过，这类“防量子”算法的计算成本非常高，所以暂时不必把它视为一种可行的商业化及比特币实体解决方案。也许只有当比特币量子盗窃案终于发生后，人们才会醒悟过来，去修改算法，以彻底解決这一问题。

我真心希望这一天早些到来。

自主武器被视为继火药、核武器之后的“第三次战争革命”。虽然地雷和导弹揭开了早期简单自主武器的序幕，但运用了AI技术的真正的自主武器才是正片。AI自主武器让整个杀戮过程——搜寻目标、进入战斗、抹杀生命——完全无须人类参与。

以色列的哈比无人机就是一个典型的当代自主武器，属于“即发即弃”式设计。它会根据程序设定飞到某个区域，搜寻特定的目标，然后用高爆弹头摧毁目标。

还有一个更让人毛骨悚然的自主武器案例，源自传播极广的宣传视频“屠杀机器人”（Slaughterbots）。该视频展示了一个像一只小鸟一样大的无人机主动搜寻某个特定的人，一旦发现目标，就瞄准对方的头骨近距离发射少量的炸药。这种无人机自主飞行，体量较小，十分灵活，所以几乎无法被抓住，也很难阻截它们的行动或者摧毁它们。未来，随着技术的发展和硬件成本的下降，机器人也将有能力执行同样的任务。

更可怕的是，今天，一个有经验的业余机器人爱好者，就能以不到一千美元的成本制造出这样的无人机。元件能够在线购买，技术算法可以从开源社区下载。这从侧面反映了AI和机器人技术正在逐渐走向普及，价格也越来越亲民，这也是我们多次强调的观点。试想一下，只需要一千美元就能制造出一个低成本的机器人“杀手”，就像无人机刺杀委内瑞拉总统事件中出现的那种，而且这种威胁并不是在遥远的未来才会出现，而是很快就会出现。

我们亲眼见证了AI的快速发展，这将进一步加速自主武器的迭代与升级。回想自动驾驶汽车从L1级别发展到L3/L4级别的速度，在自主武器领域，技术进步的速度也将如此。

那些机器人“杀手”不但会变得更加智能、精准、敏捷、廉价、得力，而且将学会像蜂群一样团队协作、前赴后继，在执行任务的时候变得势不可挡。一支由一万架无人机组成的“军队”就可以摧毁半座城市，而在理论上，其成本可能只需要一千万美元。

当然，自主武器有好的一面。第一，如果由机器人来取代人类士兵，那么自主武器可以挽救士兵的生命。第二，一支负责的军队可以用自主武器来引导士兵（无论是人类还是机器人）只攻击敌方战斗人员，以免伤害无辜的友军、儿童和平民（类似于L2/L3级别自动驾驶车辆帮助人类驾驶员避免犯错）。第三，自主武器还可以用于对付暗杀者、罪犯、恐怖分子。

不过，自主武器给人类带来的负面影响要远远大于这些好处。

第一，自主武器面临的最大问题就是伦理和道德上的争议——几乎所有伦理制度和宗教信仰都把夺走一个人的生命视为一种极具争议性的行为，如果不通过严肃的审判，没有任何人可以拥有这样的权力。联合国秘书长安东尼奥·古特雷斯曾表示：“掌握生杀大权、能够随意夺人性命的机器，在道德上令人厌恶。”

第二，自主武器降低了杀人的成本。尽管过去也有自杀式爆炸袭击者，但对于任何人来说，为一件事献出生命仍是一个很大的挑战。但如果有了自主武器，暗杀者和恐怖分子不用放弃生命就可以达成目的了。

第三，自主武器还涉及责任人的界定，我们需要知道谁应该为自主武器的失误负责。对于战场上的士兵来说，每个人的责任是非常清晰明确的。但对于被分配了任务的自主武器来说，出问题后的责任就相对模糊了（类似于自动驾驶车辆撞死行人应该向谁追责）。更糟糕的是，如果责任无法明确，幕后黑手就有从国际人道主义法中逃脱的机会。这直接降低了战争的门槛。

第四，自主武器不仅能够对某个人执行暗杀任务，还能够针对任何群体进行灭绝式屠杀（这可以通过面部或姿态识别技术、移动设备或物联网信号追踪技术来实现）。在《人类刹车计划》中，我们就看到了对影响力超群的商业精英和社会知名人士的针对性杀戮。

如果我们不审慎思考自主武器可能带来的各种问题，一味推动技术的发展，人类的战争进程将会加速，不但会造成更大的伤亡，而且可能导致灾难性的战争升级，甚至核战争。另外，AI缺乏人类的常识和跨领域推理能力，因此无论人类如何训练一个自主武器系统，它都无法充分理解其自身行动所带来的后果。这也是为什么在《人类刹车计划》的故事中，泽维尔和EC3的反恐行动最终仍然由人类操控，而非机器人。

从英德海军军备竞赛到美苏核军备竞赛，一直以来，各个国家都在争夺军事霸权，并将军事置于优先发展的战略地位。自主武器的出现将进一步加剧各国的军事竞争，因为这种竞争将变得更加多元化（更小巧、更迅速、更致命、更隐蔽的武器都能被开发出来）。而且，自主武器的成本相对较低，直接降低了参赛门槛，这让一些拥有强大技术的小国有了加入军备竞赛的机会。例如以色列就开发了一批最先进的军用机器人，其中有的只有苍蝇大小。几乎可以肯定的是，只要有一个国家开始打造自主武器，那么感到威胁的其他国家也将紧随其后，参与自主武器的竞争。

那么，这场自主武器的军备竞赛将把人类带向何方呢？伯克利大学教授斯图尔特·拉塞尔表示：“我们预测，不久之后，自主武器的灵活性和杀伤力将使人类毫无还手之力。”如果任由这种多边军备竞赛发展，人类文明在未来将走向黄昏。

核武器也是一种威胁人类生存的武器，但它一直以来都受到很好的约束，甚至在几个大国拥有核武器后，全球战争大大减少了。这是因为核威慑理论——如果一个国家率先使用核武器发动突袭，就会被对方追踪到，并引来无法阻止的毁灭性报复。核战争的结果就是同归于尽，这是确保互毁原则。所以核武器时代来临后，反而很少有大的战争了。但对于自主武器来说，核威慑理论和确保互毁原则并不适用，因为自主武器发动的突袭是很难被追踪的。在《人类刹车计划》里，难以追踪的末日无人机就是一个例子。尽管通过攻击末日无人机的通信协议可能会找到一些线索，但只有在捕获到一架无人机的前提下，这种方法才能奏效。

就像我们刚才所说的，自主武器攻击可能快速引发连锁反应，并逐步升级，甚至导致核战争。而且，首先发动突袭的甚至可能并不是一个国家，而是恐怖分子或无政府组织，这更增加了自主武器的风险。

为了避免自主武器引起的生存灾难，一些专家提出了下列三个解决方案。

第一个解决方案是人工介入，或者至少確保每一个影响生命的决策都由人类做出。不过，在很大程度上，自主武器的威力源于机器在没有人工介入的情况下所具备的速度和精度。任何想在这场军备竞赛中取胜的国家，可能都无法接受这种大幅度削弱技术能力的人工介入。这种方案执行起来非常难，漏洞也很容易被发现。

第二个解决方案是颁布相应的禁令。《禁止致命性自主武器宣言》是一份是由三千名AI领域的科学家共同签署的公开信，埃隆·马斯克和史蒂芬·霍金都参与了签署活动。在过去，生物学家、化学家和物理学家也曾针对生物武器、化学武器和核武器做过类似的努力。任何一项禁令的推行都并非易事，但此前针对致盲激光、化学武器和生物武器的禁令似乎颇有成效。如今，推行《禁止致命性自主武器宣言》的主要障碍是俄罗斯、美国和英国的反对。这三个国家认为现在还为时尚早，但是我认为应该未雨绸缪。

第三个解决方案是对自主武器加以管控。对其加以管控，就必须保留人类对使用武器系统的决定权。同样，这也是一件复杂的事情，因为在通常情况下，宽泛的技术规范很难在短期内取得明显成效。比如自主武器的定义是什么？如何去监测违规国家？这些都是短期的难点。

既然要畅想未来，请允许我构想一个2041年的条约：到那时，所有国家都达成一致——未来战争将仅由机器人参与作战（或者由软件模拟进行就更好了），承诺不造成人员伤亡，但各国会在战争结束后依据输赢交付战利品;或者未来战争由人类和机器人共同作战，但机器人使用的武器仅能对机器人造成伤害，而无法对人类士兵造成伤害（就像激光枪游戏）。这些设想在今天看来显然是不现实的，但以此为基础，人们在未来可能会构想出一些实际的应对策略。

我希望人们能够重视自主武器可能带来的危险。自主武器不是未来科幻中的威胁，而是现在就已经明确存在的威胁，而且它还将以前所未有的速度向更加廉价、容易组装、灵活、智能、有杀伤性的方向进化。自主武器没有核武器所具备的那种天然威慑性，它将在各国不可避免的军备竞赛中加速发展。显然，自主武器是最有悖于人类道德观且对人类延续存在威胁的AI应用，我们需要让领域内的专家和各国首脑共同参与到对自主武器未来发展的讨论中来，权衡不同的解决办法的利弊，找到一种能够阻止自主武器肆意扩散、避免人类走向灭亡的最佳方法。