编译 费文绪

一群研究人员正在研究科学可能会如何毁灭世界，以及如何阻止这种灾难发生。

1958年，一颗原子弹在美国的太平洋试验场爆炸。据我们所知，全球核战争是可能结束人类文明的“生存风险”（existential risks）之一。

哲学家尼克·博斯特罗姆（Nick Bostrom）相信，人工智能（AI）完全有可能导致人类灭绝。在2014年的畅销书《超级智能：路线、危险与策略》（Superintelligence: Paths, Dangers,Strategies）中，博斯特罗姆描绘了一幅黑暗的图景——科研人员创造了一台能够稳定提升自我的机器。在某个时候，它学会了从网上交易中赚钱，并且开始在现实世界中购买商品和服务。利用邮件定制的DNA，它构建了简单的纳米系统，这个纳米系统反过来又创造了更多复杂系统，赋予它愈来愈强的能力来塑造世界。

现在，假设这个人工智能怀疑人类会干涉它的计划，在英国牛津大学工作的博斯特罗姆写道。它可能会决定制造小型武器，然后偷偷散布到世界各地。“在一个预先设定的时间，纳米工厂生产的神经毒气或者具有目标搜索能力的蚊子般的机器人可能会从地球的每寸土地上同时急速生长。”

对于博斯特罗姆和其他很多科学家和哲学家而言，这样的情景不仅仅是科幻小说。他们正在研究哪些技术进步导致了“生存风险”。据我们所知：这些风险可能会消灭人类或是至少终结人类文明，为了阻止这种灾难发生，我们能够做什么。“想想我们正在努力做什么，为那些可能威胁人类物种的东西提供科学红队。”哲学家休·普赖斯（Huw Price）指出，他是英国剑桥大学生存风险研究中心（CSER）的主任。……