摘 要：以算法为技术框架的人工智能变革了人类社会治理本身的运作模式。基于算法维度进行审视，人工智能引发的治理范式逻辑转向是以算法的治理与治理的算法为基础向度，而这也是回答人工智能时代“治理什么”和“如何治理”的关键性问题。作为一项颠覆性技术，人工智能不仅引发了治理范式的逻辑转向，更形成了新的风险社会，突出表现为效率逻辑下治理人格的非自主性、深度学习驱动下治理方式的不可预测性、黑箱效应下治理规则的不可解释性以及个体微粒化下治理价值的不确定性。为了避免技术与制度的互动进入规则和意义上的“真空层”，基于风险研判之下作出的政策因应不可或缺，这也为人工智能时代的治理转型奠定了重要的制度基石。

关键词：人工智能;算法;治理;风险研判;政策因应

中图分类号：D630 文献标识码：A    文章编号：1008-7168（2020）06-0012-11

一、引言

虽然人工智能（Artificial Intelligence，AI）已经成为一个人尽皆知的术语，但其概念定义广泛且模糊，并未形成普遍的共识，从20世纪50年代最初的规则遵循系统到当代的基于概率的机器学习的各种技术都被涵盖于其中。一般认为，1956年的美国达特茅斯会议（Dartmouth Conference）正式确立了人工智能这一术语，因此也被认为是人工智能诞生的标志。被誉为“人工智能之父”的阿兰·图灵（Alan Turing）在1950年提出的“图灵测试”——如果人类可以与一台机器对话且不能辨别出它的机器身份，那么可以称这台机器具有智能[1]——至今仍被业界奉为圭臬。图灵意义上的人工智能是一种能够演绎推理的机械化运作方式。随着大数据技术的成熟和平台框架的稳定，近来的研究更趋向于将人工智能定义为建立在现代算法基础上，以历史数据为支撑，而形成的具有感知、推理、学习、决策等思维活动并能够按照一定目标完成相应行为的计算系统[2]。当前，人工智能研究者提出了三种有代表性的研究范式——符号主义、联结主义以及行为主义[3]。也有学者按人工智能的聪慧等级将人工智能分为弱人工智能与强人工智能（当前强弱区分说已经成为主流观点）[4]。无论何种定义和划分，人工智能的发展始终围绕的主线是由数据驱动算法的不断升级、优化。一方面，智能革命无疑将给我们带来一个更美好的社会，它是智能的、精细化和人性化的“最好时代”[5]（p.319），从技术专家到科幻作者，从知识精英到社会大众，均将人工智能视为人类迄今为止最具开放性、变革性的创新;另一方面，作为一项可以深刻改变世界但同时又难以准确预估其后果的颠覆性技术，包括控制论提出者维纳、已故著名科学家霍金、《人类简史》作者赫拉利、特斯拉创始人马斯克在内的一大批有识之士都认为，人工智能的兴起与快速演进，在为人们带来极大便利的同时也隐藏着巨大的风险，会挑战既有的社会价值观甚至人类本身存在的价值。如霍金认为，人工智能崛起要么是人类历史上最好的事，要么是最糟糕的事;人类须警惕人工智能发展的威胁，因为人工智能一旦脱离束缚，就会以不断加速的状态重新设计自身，而人类由于受到漫长的生物进化限制，将无法与之竞争[6]。

事实上，早在20世纪，著名数学家库尔特·哥德尔（Kurt Godel）就从不完全性定理（Incompleteness Theorem）出发提出“人心胜过计算机”的论断，“无论我们构造出多么复杂的机器，只要它是机器，就都对应于一个形式系统，接着就能找到一个在该系统内不可证的公式而使之受到哥德尔程序的打击”[7]。时至今日，“人工智能是否会取代人类”的争论依然存在，伴随着商用人工智能的大范围铺设，类似的争论愈演愈烈。但事实上此类争论并无太大意义，这不仅仅是因为当前人工智能技术发展依然面临着诸多硬性瓶颈，更是因为对于人类社会的发展而言，重要的在于清楚地知道人工智能到底带来了哪些革命性的颠覆。无论是将人工智能视为一种治理技术，还是福柯笔下将其看作国家权力下的装置（dispositif），审视其在公共领域與治理发生的“化学反应”，是绝佳的透视窗口，其中包括治理范式的转向以及由此带来的价值变迁。而思考技术引发的风险下如何协调促进与规制人工智能发展的价值目标，以及如何设计人工智能时代的政策规范和风险因应策略等问题，不仅涉及对传统治理框架和制度的深刻反思，是对以“未来治理”问题为主旨的有益探索，更是推动人工智能同经济社会深度融合的前置性要件。

二、人工智能嵌入治理引发的范式逻辑转向

人工智能在此次新冠肺炎疫情期间发挥的作用，悄无声息地“惊艳”了我们。AI测温、智能外呼、疫情问答机器人等技术的应用大幅提升了政府精准做好疫情防控的成效。在北京地铁AI口罩检测方案中，百度飞桨（Paddle Paddle）①更是“一鸣惊人”，这是人工智能助力社会复工复产的典型例证。无论是从国家的战略导向来看，还是从市场强大的商业逻辑出发，都可以预见人工智能在治理领域的扩张。就目前弱人工智能的技术条件而言，也许并不会在形态上大规模出现机器人警察、机器人律师等这种科幻式的场景，但公众已经能够在生活的方方面面直观地感受到人工智能的巨大魅力。而这相当程度上要归因于算法权力（algorithmic power）对于治理的引导乃至绝对控制以及人工智能随之成为控制社会运行的重要主体[8]。以此为基础，当代社会的治理范式也发生了重要变迁。从历时性看，中国最深刻的社会转型发生在互联网大行其道之时[9]，而人工智能嵌入治理实际上要解决的是关于互联网时代传统信息传播范式超载的危机[10]，或者说是在以科层组织为载体的公共权力资源的衰微和技术治理强制性阐释泛滥的契机之下。而算法作为技术架构（technical infrastructure），自然决定了治理的方向和维度，也奠定了人工智能嵌入治理的范式基础。这旋即可以体现为对两个基本问题的解答，即算法的治理与治理的算法。事实上，这也是回答人工智能时代“治理什么”以及“如何治理”的关键性问题。

第一，算法的治理。2019年1月22日晚，自媒体新闻实验室一篇名为《搜索引擎百度已死》的文章刷屏网络。文章指责百度搜索结果一半以上会指向百度自家产品，尤其是百家号，而百家号充斥着大量营销和质量低劣的内容，这也导致百度搜索结果的内容质量大幅下滑[11]。实际上，百度搜索算法并不是第一次被推上舆论的风口浪尖，在2016年的“魏则西事件”中，百度信息推广、竞价排名机制就广受诟病。这里涉及“自然搜索”的概念，具体是指搜索引擎根据自己的算法给予所有在它们索引数据库中的网站，针对搜索关键词而返回给用户的搜索结果。在这里要讲一件发生在美国的陈年旧事。2006年3月，美国家长咨询网站KinderStart对谷歌提起法律诉讼，原因是谷歌改变了搜索排名方法，导致KinderStart网站在谷歌排名中一落千丈，网站的访问量比上一年同期下降近70%，该公司获得的收入也下滑80%。在KinderStart看来，谷歌将其列在搜索结果的最末端，造成网站的低流量，侵犯网站的“自由言论权”;而谷歌认为自己也有“自由言论权”，如何排名是它的合法权利。最终，法官站在了谷歌这一边[12]。无论是对百度搜索的诟病还是对谷歌的起诉，问题的本质都在于诘问算法是否具有自主的治理权力。自步入智能时代后，几乎我们从事的所有事情都由算法决定。各种各样的网络服务商提供的平台依靠它们独特的算法规则，决定我们的决定，接受着我们大量的数据，最终甚至比我们自己更了解自己。而当人工智能技术不断成熟普及，算法权力也日益成为一种社会权力时，日趋紧迫的一个重要议题就是，算法的治理在多大程度上可以被广泛接受。而这背后则必须要审视的是，人工智能是否具备英国技术哲学家大卫·科林格里奇（David Collingridge）所说的三种根本属性②。

第二，治理的算法。2018年Facebook的数据泄露丑闻③帶来的消极影响至今仍然没有完全消除。该公司通过分析5000多万用户的性格特征、价值取向、行为模式和人生经历等方面的数据，对左派、右派和摇摆不定的人群进行精准的信息推送，使他们支持公司预定的总统候选人[13]。这也意味着，当选民认为自己行使了神圣的自由选举权时，殊不知背后是被精准操纵了的“自由意志”。近几年，不断爆出的数据泄露事件让大数据时代的隐私问题成为人们关注的焦点。但事实上，真正值得我们焦虑和担忧的或许是，当我们高度依赖由算法支配的智能生活时，当我们让渡了“识别性”而获得便捷性和高效性的生活轨迹时，是否意味着我们的个体自主性正在逐步丧失？泛化这个案例所要面对的根本困境则是讨论人类的主观意识在多大程度可以被程式化，作为诠释人类意志自主性的推理和判断在多大程度上能够被算法所取代。置于公共领域，这是一个治理算法化的问题。如果我们从法律领域出发来看待这个问题就比较容易理解，即法官的自由心证是否可以被人工智能所取代。这是步入人工智能时代后全社会所共同关心的议题之一。而我们讨论治理的算法，真正关切的问题是算法能为治理做什么。这取决于我们对治理主体、价值、方式、手段等的理解，也取决于算法本身的发展状态。

三、人工智能嵌入治理的风险研判

人工智能的发展涉及或引发了对一系列治理命题和公理的重新定义和改写，这不仅仅在于人工智能的嵌入打破了治理赖以存在的“场域逻辑”，更重要的在于它改写了整个社会的风险生成、流动以及转移逻辑，在不断地“解域”“跨域”“再域”的生成之“流”中，进一步嵌入并形成了新风险社会。这已经溢出了乌尔里希·贝克（Ulrich Beck）的“现代性”的诠释框架。当风险的阶级逻辑逐渐下沉并弥散为无处不在的算法逻辑时，我们必须重新反思和研判人工智能时代的风险演化。这不仅重要而且紧迫，因为我们已经无可避免地成为村上春树在《海边的卡夫卡》结尾所言道的，“一觉醒来时，你将成为新世界的一部分”[14]（p.514）。

（一）效率逻辑下治理人格的非自主性

互联网的发展历史表明，网络空间的生成和扩散可以被看成是一个由商业力量推动主导的生产性过程[15]。这个逻辑也同样适用于人工智能的发展和应用，而商业逻辑的一个永恒推动力则来自于效率的提升。自人类社会进入20世纪以来，效率与公平就一直是治理体系的核心价值，二者也维持了相对的平衡。但就人工智能在治理领域的应用而言，效率导向始终占据着上风。而效率逻辑的“长驱直入”，不是因为效率和公平在主流价值观中存在高下之分，而是因为对于人工智能而言，把握如何提高治理效率，远要比去把握如何实现公平、正义更容易。而在效率逻辑驱动下的人工智能治理模式亦带来深层次治理人格的突变。如果说，在农业社会的统治型社会治理模式中，人的等级差别和权力关系造成了普遍的人格依附，近代社会政治生活因工业化产生的工具理性膜拜，几乎祛除了公共领域的独立人格，那么以算法和数据为统摄规则的智能社会，则以高度的精准性和客观性剥夺了社会治理者的自主性。正是依赖算法的高度独立性，福柯所言的“技术的主体性”概念愈发清晰，这也印证了“技术并不仅仅是工具，或者不仅仅是达到目的的手段;相反，其是政治行动者，手段与目的密不可分”[2]。这个政治行动者，在效率逻辑的不断驱动下，有着极强的动力以技术的迭代替代制度的更新，并能够通过不断增设专门机构吸纳技术嵌入，在短期内大幅提升政府行为效率与体制效能。但长远来看，层层增设的机构和无处不在的人工智能监控设施，可能使人的主动意识、理性精神、自觉担当消失于无形，由此让人逐渐促成一种机械服从人工智能安排的习性，人的社会性成为人工智能挤压出来的副产品[16]。政府对人工智能的普遍应用，如各式各样的APP，在相当程度上造成了治理人员的技术依赖，那些依托个人情感和自由意志的治理经验和娴熟技能已经不再重要，理性、自由意志和个人情绪亦变得没有必要。而不断迭代升级的治理技术，如人脸识别系统，试图用智能监控替代公共安全制度，不仅蕴藏发酵着巨大的公共安全风险，而且缺乏人文关怀的管理也让政府与公众之间的距离愈发拉大。

（二）深度学习驱动下治理方式的不可预测性

人工智能的“黑箱”问题，即机器在完成某项任务时，它们是怎样思考和决定的，其过程到底是什么，一直困惑着人们。而深度学习使这一问题越来越严重。原因是深度学习的机器涉及数以千计的人工神经元，这些神经元排列成数十甚至数百个错综复杂的互联层。第一层的每个神经元都会接收大量数据信息的输入，进行复杂运算，并输出新的信号，一层一层地向上传送，最后产生整体输出结果。人工智能与其他科学技术最大的不同就是它具有可以独立完成预定任务的自主性。但是人工智能的这种自主行为与人类的决策和行动存在根本不同。具体而言，目前数据驱动的人工智能所使用的方法本质上属于分类、归纳、试错等经验与反馈方法，在方法论上并不完备。机器翻译、智能推荐、语音识别、情绪分析等看起来功效显著，但高度依赖于以往的类似经验和人对数据的标注。正如谷歌的首席科学家诺维格（Peter Norvig）曾感叹说：“我们没有更好的算法，谷歌有的，只是更多的数据。”这揭示了人工智能的本质就在于数据的收集和利用，也是基于此才能得到较好深度学习的结果。但是罗素著名的“火鸡问题”（Russells Turke）告诉我们：火鸡可能观察到1000天主人每天早上9点给它喂食的事实，但是在第1001天平安夜的早上，火鸡没有迎来喂食而是宰杀。对于一只火鸡而言，1000天的数据收集已经趋于完备，但是依旧无法跳脱“命运的偶然性”。深度学习驱动下人工智能的演化路径有着极大的不确定性，其根源在于人类智能与人工智能存在本质差别。尽管人工智能系统设计总是模仿人脑的工作方式，但是在限定的时间内，人工智能极有可能给出人类完全没有考虑过的出人意料的解决方案，即一个通过合并算法和深度学习后得出的“最优解”。但这样的“最优解”却有可能并非是人类之福。最坏的结果是，人工智能走上了最糟糕的演化路径，习得了人类排他性残暴的一面，从而具有了奴役人类的动机[17]。例如，在灾害治理中，近年人工智能技术应用于灾害救治成为一种必然的趋势，但由于灾害情境的复杂性、动态性以及高度不确定等特点，若使用全自动智能机器人技术进行实时决策，将极有可能造成如经典伦理学实验“电车难题”中那样进退维谷的困境，只是悲剧分配的选择权从司机的手里转到了人工智能也就是算法那里。依赖于深度学习驱动进化的人工智能治理极有可能导致人们在国家与社会系统性的疏离夹缝中更为艰难的处境。

（三）黑箱效应下治理规则的不可解释性

显然，学习算法基于的大规模数据搜集、输入并不能巩固事件的确定性，人类社会业已存在的数据都存在明显的滞后性和偶然性，难以指导对于当前和未来的预测或分析，特别是在那些不具有明确目标或者工作产出绩效不明确的人类活动之中，这种滞后性和偶然性会带来更大的问题。数据和算法的紧密依存将会导致未知的“黑箱效应”，进而衍生出难以预估的安全风险[18]，其中治理规则的不可解释性便是自工业社会以来横亘在人类面前的最大“困惑”。

在当前的人工智能语境下，我们无意去判定人心与人工智能之間的高下之分，而是试图去理解技术变革之下的人工智能所对应的“形式系统”——一种新的社会形态，而其中一个重要的观察视角就是治理规则的嬗变。无疑，从效率导向出发，人工智能在治理活动中具有广阔的应用前景，同时也变革了公众的治理视界和认知模式，重构了治理规则本身的形态。阿西莫夫“机器人三定律”（Three Laws of Robotics）④就是一个很好的探索[19]。虽然阿西莫夫的机器人三定律定义严密，逻辑层层递进，特别是作为导引，在应用到那些能够同人类直接接触并有可能造成身体伤害的智能产品上时具有充分的解释力和可操作性，但当我们面对那些无形的算法评分、算法排序和算法决策时很难去确定，伤害到底是由什么造成的，更遑论获知“暗箱”背后的操作规则。正如历史学家尤瓦尔·赫拉利（Yuval Noah Harari）在《人类简史》中所提道的，现在各大企业、机构应用人工智能和复杂的算法是必然趋势。一般来说，算法会比人类职员表现更佳，但问题在于，如果算法里藏着某种不公，我们将很难察觉。如果你向银行申请贷款，申请单通过算法处理而不是由人类审核，那么此时如果银行拒绝给你贷款，你会问：“为什么？”银行会说：“算法说不行。”但你再问：“为什么算法说不行？我哪里有问题？”银行会说：“我们也不知道。没有人知道这套算法背后的道理，总之就是一套先进机器学习的结果。我们相信我们的算法，所以不会贷款给你。”这个场景背后的逻辑极有可能是未来社会运行规则的导向，而真正可怕之处并不在于目前所讨论的某类“算法歧视”带来的不公，而是这套规则体系将可能不会遇到任何挑战，因为它无从解释，更加不可苛责。正如在英国女性乳腺癌筛查漏检丑闻⑤中，关于算法错误究竟是怎么产生的，国家卫生医疗系统（NHS） 、公共卫生局（PHE） 以及负责软件维护的日立咨询公司三方互相踢皮球，然而最终结果很有可能是根据目前的法律体系无法给出定论。

（四）个体微粒化下治理价值的不确定性

当治理表现出更明显的技术维度时，不同主体之间的强弱差距也更为明显。从表面上看，这种强弱差距或者不平等似乎在于掌握了数据和数据解析工具的人相对于那些没有掌握数据和数据解析工具的人拥有巨大的优势，而实质上，数据解析对人的行为的过度“了解”，会对人形成一种看似精细实则往往似是而非的数据化或量化的刻板印象[20]。例如，在一家企业中，管理者可以轻易通过数据解析透视下属的各种特质、能力以及行为倾向，进而为成员匹配适合的岗位和职务，人尽其才、各司其位看似是一个帕累托最优的结局，但问题是组织成员上升进步的其它可能性因为“无所不知”被关闭。人类社会对公平的假定和追求正是进入罗尔斯的“无知之幕”后所设定的。无论是正义的社会分配方式，还是判断特定道德问题正义与否，其必要条件和前提都是“你对自己将来会成为什么人一概不知”。但精准的数据解析和算法模拟撕裂了横亘在人类面前的“无知之幕”，个体微粒化且高度可视化进一步带来的是治理价值的“悬浮”和“混乱”。人类历史上曾经发生过对特定群体的歧视（如黑人或妇女），这些群体都可以找到反抗的理由和共同的集体，进而要求这个社会重新关注价值导向并进行纠偏。而个体微粒化下经由算法“伪装”的歧视带来的却是针对个人的未知歧视，也就是说你很难在这种“数字独裁”下找到与自己有共同经历的同伴，反抗亦无从谈起。

当警务人员已经根据算法对于再犯罪可能性的结果决定应该释放还是继续监禁在押囚犯，社会福利工作人员也在使用基于统计的方法为那些穷困的人提供标准化服务时，那些由于不可见的原因而被程序算法忽视的人又该怎么办呢？我们可以看到两大优势：一方面，国家将会公正地对待每个人;另一方面，“好”公民不必再为问题公民的错误行为提供补贴。每个人所得到的都与他自己的行为相称。但这是一个优势，还是会将我们当前流行的公正理念搅得混乱不堪呢？相对于当前的体制，决定性的差异并不在于有多少人处于同一规则之下，而在于他们各自如何被理解。但是至少在当前的治理体制下，“我们如何与这样一种碎片化的公众打交道”这一问题还没有被完全解决。人工智能下的“社会测尺”在无时无刻地打量着每一个人，无论是技术决定论者还是社会建构论者都具有的共识是，技术并非价值中立。谁也不知道这些程序算法的计算过程是不是公正或者公平的，这些程序算法在进行计算时是否有倾向性或者发生了扭曲。如果这些程序算法被认为是合法的，如何对其进行公正核查？所有的这些疑问都在无时无刻叩问人工智能时代的价值命题到底几何。

四、规制人工智能技术风险的政策因应

技术的信徒坚信人工智能将是人类历史上最大的革命，“归根到底，唯一跳出星球运转的循环意义外的革命不是政治革命而是技术革命，因为只有它们才是不复返的。有了电流后就不再用蜡烛，有了汽轮船就不再用帆船。然而有了十月革命还是回到了东正教……”[21]（p.23）。但是任谁都可以列出人工智能面临的诸多问题和弊端，也许有人乐观地认为人工智能永远不会超越人类。但无论如何，自进入算法社会以来，即使是最保守的“新技术排斥者”，都无法摆脱大数据、算法以及人工智能的如影相随。这几年“机器换人”的概念愈演愈烈，已经有学者预测出了未来10～15年内365类工作被取代的概率，对此，有人惶恐有人欣喜，但这似乎已是一个不可逆转的趋势。由于技术的复杂性以及未知性，人类的未来充满了不确定性，但这种不确定后果未必是毁灭性的风险。事实上，无论是具化的“机器换人”带来的一系列的社会问题，还是人们害怕人工智能“黑箱”下更大的不公平，我们都可以把它们等同于某个领域的制度设计以及具体的治理方式问题。但即便如此，我们也不应当简单地将这些问题等同为人类在蒸汽时代、电气时代、信息时代这三轮科技革命浪潮中所经历的转型难题。

当算法权力下的监控和决策手段使公权力成为无法被问责的“黑箱”，当社会日益智能化却也变得异常脆弱，当以往那些可以抗衡公权力的原则和价值极有可能为了换取技术的福音而被轻易抛弃时，在更深远的意义上，治理者应当思考的不是如何去限定一种技术的发展，而是如何重塑具体的规则以及做出正确的风险因应策略。因为在被技术改变后的社会中，“我们所体验到的那种无能为力并不是个人失败的标志，而是反映出我们的制度无能为力。我们需要重构我们曾经有过的这些制度，或者建立新的制度”[22]（p.15）。

（一）更新“以人为中心”的治理主体意识

在技术治理时代，造成效率逻辑更为强大的原因，并不仅仅是人工智能难以把握类似公平、正义、民主等价值，更关键的在于这类涉及人们基本常识和思维方式的道德价值观念，目前还远未在人类社会中形成广泛且成熟的共识，甚至在不同價值理论之间存在难以消弭的内在矛盾和冲突。以平等为例，在人类自身都还未有自证或者完全澄清平等的内涵和作为普遍权利的前提下，我们却不得不开始思考相伴人工智能革命而生的一系列问题。就公共领域而言，最为关注的议题之一就是机器人与人类的主体地位平等问题。在未来，拟人态机器人进入我们的生活成为必然，当我们必须接受算法统摄下的人工智能成为新的甚至是主要的治理主体时，更应当在深层次加强对认知的解释与构建[23]，其中对主体性地位的认识和构建是关键。作为至今仍然是人工智能领域不可忽视的问题，图灵与哲学家路德维希·维特根斯坦（Ludwig Wittgenstein）关于“机器是否能够思维”的争辩，将迎来一种全新的视角——从“如何让机器拥有人一样的思维”到“如何让人工智能更好地服务于人类”，这个背后不是技术狂热者的“乌托邦”，或者执迷于科技与心智较量的最终答案，而是为了人类更好的生存，最终形成“以人为中心”的社会智能体。

而涉及关于治理主体意识的更新，并不是简单地将人工智能纳入现有的治理体系之中，给予其相应的法律地位，而是要进一步解决人工智能技术发展的定位问题以及重申“人”的主体性地位，进而使人类真正认识到，“激情、热情是人强烈追求自己的对象的本质力量”[24]（p.211）。“机器换人”拉开了强人工智能时代劳动者主体性危机的序幕，但目前我们已经逐步确立了这样一种共识：保护人，而不是保护工作。据此，我们也应当在智能技术迅猛更新迭代的进程中逐步确立对主体性地位新的认识，“我们可以知道的比我们所知的更多，即我们执行的许多任务都依赖于难以编码化和自动化的默会知识、直观性知识”[25]。换言之，伴随人类优势递减的趋势不可逆转，人类最终将不得不接受自我进化、发展的责任，“不再有任何对人做出先验性规定的因素存在，每个人都可以根据自己的行为和行动去理解和认识人们的身份和社会角色，每个人都通过自己的行为和行动去获得自己的身份和社会角色”[26]（p.41）。

（二）完善相互构嵌的风险预防与控制模式

首先我们应当意识到风险预防与风险控制在操作规则和目的上并不一致。风险控制很大程度上是为了尽可能减少技术普遍应用所带来的显性或隐性的危害和损失，而风险预防则是为了最大程度杜绝风险性事件的发生。技术是把“双刃剑”，其中所包含的风险往往具有不确定性和迟滞性。当一种新技术对社会的影响在科学上尚无定论的时候，如果这种影响有可能是负面的、巨大的和不可逆转的，决策者就应该假定它会造成这种影响，并据此来制定相关政策和法律，这就是“风险预防原则”。在逻辑上，如果将风险预防理解为先期目标，那么风险控制就是兜底原则。当科林格里奇困境的技术难题在人工智能时代愈发凸显时，完善相互构嵌的风险预防与控制模式的紧迫性前所未有。从根本上来说，就是要求人类在推广和使用技术的过程中，充分考虑潜在的风险，并确保技术的开发者对于每一项风险有着充分的可改正能力和应急措施。特别是企业作为科技创新的主体，在“成本—收益”考量下进行的技术开发应当更强调基于风险评估原则而履行监管职责。政府则应当在加强自主创新战略下，在安全且符合法律要求的范围内，尽可能为公众提供参与全过程规则制定的机会。当然，其前提是通过推动数据标准化、公开相关信息文件等方式帮助公众识别风险，并建设服务平台以供技术使用者反馈相应问题以及接收建议。事实上，完善人工智能时代基于风险分配的社会政策以及保障体系，才是促发相关责任主体增强风险防范意识，并保障企业在技术开发过程中始终避免资本的单项驱动而秉持“科技向善”原则的基础。

当前学界已经掀起了针对目前的弱人工智能以及未来强人工智能实际应用的预测性及相关法律规制的研究热潮，对于“奇点”之后的超人工智能会造成什么样的颠覆性后果的思考亦不断涌现。随着人工智能时代不断逼近，拟人态的人工智能如何与人类在社会中和谐有序共存是任何相关领域都无法回避的重大议题。在实践层面，不少国家已经启动就人工智能在研发和应用过程中的风险评估和防控立法以及成立专门的研究规制机构。“有预见的政府做两件根本性的事情。它们使用少量钱预防，而不是花大量钱治疗;它们在作出决定时，尽一切可能考虑到未来。”[27]（pp.164-165）2017年底，美国国会提出两党议案《人工智能未来法案》，根据法案，美国商务部应当成立“联邦人工智能发展与应用咨询委员会”，就人工智能涉及的技术、商业、国家安全等问题进行綜合研判并向政府提供立法和规制建议;2018年3月，有欧盟智库之称的欧洲政治战略中心发布题为《人工智能时代：确立以人为本的欧洲战略》的报告，报告中提议设立一个“欧洲机器人和人工智能局”来统筹该领域的风险控制工作。

（三）构建以“解释权”为基础的精准追责机制

在很长一段时间内，技术在伦理上被认为是价值中立的⑥。然而，至少就算法设计的意义而言，从来没有一种算法是完全中立的，算法设计必定由数据制造者所追求的功能目标、价值偏好、商业利益所决定。在合法性的判断中，必须排除技术中立的抗辩已经是基本的共识。质言之，从人工智能调整和改变后的社会关系出发，只有在默认算法“可责、可罚”的前提下进行规则和伦理规范的建构才能保障“人工智能更好地服务于人类”这一核心逻辑。诚然，有学者指出，人工智能有强弱之分，当前的弱人工智能缺乏自觉和自主的能力，因此不应当被视为是司法体系中的可追责对象。但事实上，无论是算法下的“黑箱效应”还是“算法权力”的无远弗届，都已经对人类构成了实质性侵权。这促使治理者们不得不开始思考，如何能在真正意义上规制人工智能借由“技术中立”的幌子“横行霸道”。欧洲议会于2016年4月颁布的 《一般数据保护条例》（GDPR）规定，在基于用户层面的预测的算法决策等自动化的个人决策中，应赋予公众一种新的权利——“解释权”，即公众有权要求与其个人相关的自动决策系统对其算法决策做出必要的解释[28]。事实上，所谓的“解释权”，不仅仅是在制度层面打开算法决策的“黑箱”，以立法的形式强制要求保留相关数据与算法决策过程的“黑匣子”，或许更具现实意义的做法是在其应用之前就在可控制的前提下对人工智能进行追责机制的技术建构，如依托区块链数据可溯源的特性构建完整的、防篡改的责任链条。而在出现较大的危害和争议时，有着可以申诉的空间和机构，通过对后果的追究倒逼算法决策的内在机制与过程的透明性。例如，欧洲为保护数据信息制定的新法令中甚至包括一条“解释权”——有权要求做出决定的机器做出解释，该法令于2018年5月生效[29]。而当进一步将精准追责与纠错补偿结合起来时，就能够在全社会形成防止恶意使用、算法歧视等更为务实的目标。这是构成新的治理规则形态的“基础性要素”，即构建以“解释权”为基础的精准追责机制，让算法权力的运作链条更加透明，逐步消除人机双方的力量不对等状态，从而真正实现“可解释的人工智能”。

（四）创设人文智能协作治理场景

Facebook 的创始人马克·扎克伯格曾在2017年2月16日发表了一篇大胆的宣言，呼吁有必要建立全球社群，同时谈到Facebook在这项计划中要扮演的角色，提出依靠算法的联结实现人类共同体。但随之而来的数据泄露事件让企业家的“勃勃野心”遭到了阻滞。尤瓦尔·赫拉利在《今日简史》中谈到Facebook旨在运用算法努力重建人类社群的这一做法时强调：在治理中，算法或许已经可以驾驶汽车、可以治病，但碰上社会问题的时候，还是要靠政治人物和宗教人士[30]（p.81）。言外之意，治理尚存在算法失效或者本就应当禁忌的领域。正如我们怀有法律对任何个案都有矫正正义价值的期待，人工智能至少在当前的智能范畴内还无法独立进行“自由心证”。在更高意义上，我们应当而且必须对人工智能在某些领域的“长驱直入”保持审慎的态度和距离。一份来自牛津大学人类未来研究所的《人工智能何时超越人类》报告指出，裹挟了过多周边技术（如区块链、量子计算、纳米科技、基因工程等）的人工智能极有可能发展为互联网时代的“利维坦”[31]。为了避免这个灾难性的后果，人类开始将更多的目光投向人工智能的伦理建设，“算法正义”（algorithmic justice）是规制人工智能技术风险不可或缺的向度。而在政策层面，努力创设人文智能协作治理场景是关键。所谓人工智能时代的人文主义，不仅仅是指增强智能系统的人机交互设计，而且必须关注这个时代的社会规范和秩序的升级，特别是在多学科融合的视角下构建新的正义原则以及思考和探讨如何在人工智能时代振拔人类的能力。2017年初在美国阿西洛马召开的Beneficial AI会议上提出的“阿西洛马人工智能原则”强调，应以安全、透明、负责、可解释、为人类做贡献和多数人受益等方式开发人工智能[28]。2019年4月8日，欧盟委员会发布了一份人工智能道德准则⑦。而随着社会文明的进步，资本市场中的“蓝海逻辑”促使资本比以往更多地投入到了诸如残疾人、老年人、康复病人等特殊用户的智能产品研发和应用落地场景的创设中。

事实上，无论是自上而下还是自下而上的应用场景铺设，其核心都是对智能算法进行“训化”，即在智能系统中嵌入符合人类价值的基模，构筑算法的底层运行规则[32]。当代著名工业设计管理大师布鲁斯（Gordon Bruce）曾指出，设计的本质与技能无关，而是一种生活态度，设计者需要重新设计自身思维方式，带着责任感、敬业精神和对人与环境的尊重去做设计[33]。

五、结语

人工智能本质上是一套复杂的代码设计，既是影响社会行为的强力规范，也是产生新价值的生产机制。我们能清晰感受到它的影响但并不能对其内部一窥究竟，因而试图通过治理领域具体的实体对象或工作流程来理解人工智能对治理规则、价值的影响不仅困难，也是一个不可能完成的任务。今天的人工智能正在改变社会的方方面面，如治理结构、社会秩序、道德伦理体系等，社会的全面智能化要求我们的社会治理体系做出相应的调整。作为一种技术，人工智能服务于特定的人类目的，在给定目的的前提下追求最优的解决方案。这也是那些技术的拥趸鼓吹技术“解放”效应的原因，他们宣称人工智能技术最终将瓦解人类社会的金字塔结构。但实际结果却是，也许赫拉利关于未来世界三种人（无用的人、没有自主的人和神人）的划分有夸张之嫌，但人类社会的金字塔依然存在。基底依然是芸芸众生，但塔尖却分裂成了政府、资本力量和技术力量[34]。三种力量时而合并，时而对峙，但无论是合并抑或对峙都与“芸芸众生”无关，技术在本质上并不能真正解放全人类。除去人性这道横亘在人工智能面前的高墙，在纯粹的技术层面，人工智能可能也依然无法“随心所欲”。

无论是技术还是我们现有的社会价值体系都无法确定人类社会发展的终极目的，但庆幸的是，技术的发展帮助我们看到人类可以走多远以及在这条道路上有着哪些原则、目标不能被舍弃。那些基础性的底线价值以及程序性要求，不是为了限定技术的发展边界，而是为了防止它的“越界”，避免人工智能语境下的治理转型将人类的发展视为可有可无的向度。马丁·海德格尔（（Martin Heidegger）在《技术的追问》一文中便批判了“技术是合目的的工具”这一现代技术观，认为技术是有尺度的[35]（pp.4-5）。正如刘易斯·芒福德（Lewis Mumford）所指出的，“人类文化的每一种表现形式，……无不最终服务于人类有机生命重新塑造這一任务的，无不服务于人类个性表达这一使命”[36]（p.10）。而我们在正视人工智能革命性力量的同时，也要避免技术狂热下对风险的漠视或者轻蔑，也许能够做到这一点的只有那些先验、超然的，无法解释归约的“神圣力量”，让它在人类复杂社会生活和技术发展之间始终保持“精神之锚”的重量。

注释：

①飞桨（Paddle Paddle）是百度自研、开源开放且功能完备的产业级深度学习平台。2020年2月13日，百度就宣布在飞桨深度学习平台中免费开源了业内首个“口罩人脸检测及分类模型”，助力各行业疫情防控，疫情期间在3天内快速部署，7天完成两次模型升级，实现了在北京地铁站的实时视频流中准确地对未戴口罩以及错误佩戴口罩的情况进行检测。

②当一项技术的社会后果不能在技术生命的早期被预料到从而被及时调控和规制时，技术的普及和应用将使其成为经济社会结构的一部分，由于对负面结果的控制变得昂贵、困难和消耗时间，以致难以或者不能改变。这被学界称之为科林格里奇困境（Collingridge Dilemma）。为了克服这一困境，科林格里奇本人认为，技术的发展需要具有三种根本属性：可改正性、可控制性与可选择性。

③2018年3月17日，英国《卫报》爆出英国的数据分析公司CA在美国大选中为特朗普服务。这个大数据服务公司的数据来源于非法获取的Facebook的用户信息，涉及的用户高达5000万人。

④1942 年，著名科幻作家、“机器人学之父”阿西莫夫在其短篇小说《环舞》中首次提出了“机器人三定律”：一是机器人不得伤害人类，或者因不作为而使人类受到伤害;二是除非违背第一定律，否则机器人必须服从人类的命令;三是在不违背第一及第二定律下，机器人必须保护自己。

⑤2009年，由于算法错误，英国45万名 68至72岁的女性错过其最后一次乳腺癌筛查。这项错误算法出现在英国国家卫生医疗系统（National Health System，NHS）的乳腺癌筛查安排软件中，9 年以来一直不为人知，据相关数据统计，近百人因此提前离世。

⑥1984年美国最高法院在“环球电影制片公司诉索尼公司案”中判决：为了在家庭中“改变观看时间”使用录像机录制电视节目构成对版权作品的“合理使用”;只要产品能够具有一种潜在的“实质性非侵权用途”，产品的制造商和经销商就不承担“帮助侵权”责任。

⑦可信的人工智能需要具备七个要素。一是确保人的能动性和监督性。人工智能系统应该支持人的能动性和基本权利，而不是减少、限制或错误地指导人类的自我治理。二是稳健性和安全性。人工智能的算法要足够安全、可靠和稳健。三是在隐私和数据管理上，人类应该完全控制自己的数据，跟个人相关的数据，不能被用来伤害或者歧视他们。四是要有透明度。人工智能系统应该具备可追溯性。五是人工智能系统应该考虑到人类能力和技能要求的范围，要做到多样性、非歧视性和公平性。六是人工智能系统应该有助于社会的可持续性，并且担负生态责任。七是人工智能系统应该有相应的问责机制，需要对它造成的后果承担责任。

参考文献：

[1]Turing A M. Computing Machinery and Intelligence[J].Mind， 1950，（49）.

[2]贾开，蒋余浩.人工智能治理的三个基本问题：技术逻辑、风险挑战与公共政策选择[J].中国行政管理，2017，（10）.

[3]成素梅.人工智能研究的范式转换及其发展前景[J].哲学动态， 2017 ，（12）.

[4]John R. Searle. Minds， Brains and Programs[J]. The Behavioral and Brain Sciences， 1980， （3）.

[5]吴军.智能时代：大数据与智能革命重新定义未来[M].北京： 中信出版社，2016.

[6]霍金演讲：人工智能也可能是人类文明的终结者[DB/OL].http：//news.ifeng.com/a/20180314/56725266_0.shtml，2020-07-15.

[7]刘晓力.哥德尔对心—脑—计算机问题的解[J].自然辩证法研究，1999，（11）.

[8]张龙辉，肖克，王寒.人工智能应用下的特大城市边缘城区治理：技术变革、价值隐忧与技术路径[J].电子政务，2020，（9）.

[9]何明升.技术与治理：中国70年社会转型之网络化逻辑[J].探索与争鸣，2019，（12）.

[10]喻国明.人工智能与算法推荐下的网络治理之道[J].新闻与写作，2019，（1）.

[11]斯涵涵.忽视用户对搜索引擎的信任，后果很严重[N].工人日报，2019-01-25.

[12]青砚.百度究竟要承担什么责任，取决于对“搜索推广”的3种定性[N].中国经济周刊，2016-05-09.

[13]李伦.楚门效应：数据巨机器的“意识形态”——数据主义与基于权利的数据伦理[J].探索与争鸣，2018，（5）.

[14][日]村上春树.海边的卡夫卡[M].林少华.上海：上海译文出版社，2003.

[15]李晟.略论人工智能语境下的法律转型[J].法学评论，2018，（1）.

[16]任剑涛.人工智能与“人的政治”重生[J].探索，2020，（5）.

[17]何哲.人工智能时代的人类安全体系构建初探[J].电子政务，2018，（7）.

[18]李晓夏，赵秀凤.人工智能时代的“政府生态”治理现代化[J].电子政务，2019，（10）.

[19]何哲.人工智能会形成新的专制吗？——人类政治的历史与未来[J].中共天津市委党校学报，2018，（6）.

[20]段文伟.人工智能与解析社会的来临[J].科学与社会，2019，（3）.

[21][法]雷吉斯·德布雷，赵汀阳.两面之词：关于革命问题的通信[M].张万申.北京：中信出版社，2014.

[22][英]安东尼·吉登斯.失控的世界：全球化如何重塑我们的生活[M].周红云.南昌：江西人民出版社，2000.

[23]刘伟.关于机器人若干重要现实问题的思考[J].人民论坛，2015，（16）.

[24]中共中央马克思恩格斯列宁斯大林著作编译局.马克思恩格斯文集（第1卷）[M].北京：人民出版社，2009.

[25]潘斌. 重思人工智能的辩证法：从人工智能到人类未来[J].天津社会科学，2020，（3）.

[26]张康之.为了人的共生共在[M].北京：人民出版社，2016.

[27][美]戴维·奥斯本，特德·盖布勒.改革政府：企业家精神如何改革着公共部门[M].周敦仁，等.上海：上海译文出版社，2016.

[28]段伟文.人工智能时代的价值审度与伦理调适[J].中国人民大学学报，2017，（6）.

[29]莫宏伟.强人工智能与弱人工智能的伦理问题思考[J].科学与社会，2018，（1）.

[30][以色列]尤瓦尔·赫拉利.今日简史[M].林俊宏.北京：中信出版社，2018.

[31]赵精武.人工智能安全的双重规制体系[N].中国社会科学报，2019-02-20.

[32]喻国明，耿晓梦.智能算法推荐：工具理性与价值适切——从技术逻辑的人文反思到价值适切的优化之道[J].全球传媒学刊，2018，（4）.

[33]高登·布鲁斯：设计要避免效仿，也要牢记共性！[DB/OL].http：//home.163.com/16/1013/14/C390MQ61001089B5.html，2020-07-12.

[34]郑戈.算法的法律与法律的算法[J].中国法律评论，2018，（2）.

[35][德]马丁·海德格尔.演讲与论文集[M].孙周兴.北京：生活·读书·新知三联书店，2005.

[36][美]刘易斯·芒福德.机器神话（上卷）：技术发展与人文进步[M].宋俊岭.上海：上海三联书店，2017.

[责任编辑：张英秀]

Risk Judgment and Policy Response of Artificial Intelligence Embedded Governance Based on Algorithm Dimension

Zhu Wanjing

（Wenzhou University， Wenzhou Zhejiang 325035）

Abstract：

Artificial intelligence based on algorithm has changed the operation mode of human social governance itself. The first is the logic turn of paradigm caused by artificial intelligence embedded governance. Based on the dimension of algorithm， the governance of algorithm and the algorithm of governance can be said to be the basis of new paradigm， and also the two key questions of answering “what to govern” and “how to govern” in the era of artificial intelligence. As a subversive technology， artificial intelligence not only leads to the logical turn of governance paradigm， but also forms a “new risk society”， which is characterized by the non-autonomy of governance personality under the logic of efficiency， the unpredictability of governance mode driven by deep learning， the unexplainability of governance rules under the black box effect， and the uncertainty of governance value under individual micronization. In order to avoid the interaction between technology and institution into the “vacuum layer” of rules and meaning， the policy response based on risk judgment is indispensable， which also establishes an important institutional cornerstone for the governance transformation in the era of artificial intelligence.

Key words：

artificial intelligence， algorithm， governance， risk assessment， policy response

收稿日期：2020-08-15

基金項目：

国家社会科学基金重大项目“国家治理现代化与行政管理制度体系创新研究”（17ZDA105）。

作者简介：

朱婉菁（1987-），女，浙江温州人，温州大学法学院讲师，博士。