陈飏 裴亚楠

摘 要：伴随算法决策在行政、司法和商业等领域的深度应用，隐私泄露、算法歧视与人类自主性受损已成为三大主要风险。为防范该类风险，首要的是须重申、确立并加强人的主体地位意识，以此反向定位算法决策的工具属性。在此前提条件下，亦应借力他山之石雕琢己玉，积极借镜以美国、欧盟和德国为代表的域外经验，研习其有关算法决策的制度构建与规则设计，尤其要关注法律制度、规则设计的针对性与专业性。当然，更需立足我国国情，切实把脉时代发展，在适时运用比例原则以加强算法决策风险评估机制的同时，科学合理界定责任主体，明确制定该类风险责任承担的相关法律法规，以最大化降低因法律模糊性而遭致数据主体的二度伤害。

关键词：算法决策;算法决策风险;风险评估;责任规定

中图分类号：D920.4

文献标识码：A

文章编号：1673-8268（2021）03-0072-10

一、问题的提出

大数据时代，以海量数据收集和机器自主学习为基础的算法决策技术日臻发展，正逐渐取代传统意义上的人为决策，广泛且深入地改变着我们的生活方式与社会发展。如在应聘与招聘、购物与旅游、租房与卖房等社会生活方式中，算法决策已成为诸等商业网站为达成利益目标而首选的智能技术。此外，算法决策也更多地运用于司法、行政等公权力领域，如刑事审判中，美国以算法决策技术构建再犯风险评估内容（COMPAS），并以此作为重要量刑依据[1]74，其部分州还采用公共安全评估（PSA）和服务级别目录修订版（LSI-R）等罪犯风险性评估软件[2]。在国内，上海高院于2017年采用“上海刑事案件智能辅助办案系统”（又名“206”系统），即以算法决策进行刑事案件智能审判[3]。在民事审判中，北京法院应用以算法决策为核心技术的“睿法官”人工智能，对婚姻等家事类案件进行要件事实的提取与固定，快速协助法官理清事实与争点;江苏无锡中院推出的“智慧执行系统”更是有效缓解了“执行难”的问题[4]。在行政领域，算法决策早已成为行政审批或行政执法、社会治安、市政建设等行政决策之重要辅助工具，2020年突发疫情下的健康码即是“算法行政”的典型应用。

信息化、大数据时代，算法决策之地位举足轻重。然而，时代发展变化中的每一种事物好像都包含有自己的反面折射[5]，算法决策也是如此。因其自身的技术性、不透明性与不确定性，算法决策的应用风险频频发生，隐私泄露與算法歧视现象屡见不鲜，更因使用者对算法决策技术的过度依赖而模糊人的主体地位与算法技术的工具属性之界定，甚至因无条件信任算法决策结果而丧失独有的判断力，以致最终损益人的自主性地位。为缓和乃至消解算法决策应用风险，推动人与技术的和谐发展，世界各国和地区都在积极制定对策，本文择取比较法的视角，通过域外的制度考察与经验借镜，以期建构适应中国国情的算法决策风险防范路径，助益并推动算法决策技术的合法应用与合理发展。

二、算法决策及其风险表现形式

算法是由一系列步骤分明的清晰指令组成的计算机程序[6]128。人工智能时代，算法超越了以计算机程序为主的形式，在海量数据收集和机器自主学习的基础上，配置以更强大的数据处理能力。算法具备越来越强的决策功能，深刻影响着人们的信息接收方式、容量、内容及其最终的选择或决定等，但风险也应运而生。

（一）隐私泄露风险

美国学者洛丽·安德鲁斯曾发出大数据时代下个人“隐私死亡”之警告，因记录个人生活数据的收集点越多，他人可轻易获得的隐私信息就越多[7]。随着机器自主学习和算法决策的进一步发展，隐私泄露不仅发生在数据的收集阶段，而且还会发生在算法的预测阶段。并且，为最大限度开发智能技术治理能力，算法决策使用者都竭力深度挖掘个人数据。这就意味着，在数据的收集阶段从未向网络平台披露的个人信息，极有可能被深度学习算法推断出来。Facebook案例就是例证：根据该网站58 000名志愿者用户提供的诸如种族、智力、宗教及政治观点、性格特征、幸福指数、父母离异、年龄性别等信息进行数学建模，自动化算法在未获取志愿者其他信息或个性特征的情况下，居然精准预测出该用户是否为同性恋者的结论[8]。

同样，在食品安全、环境污染或交通治安等公共领域，越来越普遍的公共视频监控也正强烈冲击着公民的隐私权保护。如在美国纽约全城，早已被一个由9 000个“智能”摄像机组成的综合网络智能监控覆盖，该智能监控不仅判定着主体行为的合法或违法，甚至有望替代人为判断，全面执行法律规定，直接作出最终决定[9]。传统理论认为，隐私应止于屋门之前，即当人们步入公共空间，便不再享有合理的隐私权期待[10]86。然而，司法行政机关在应用智能监控算法决策系统时，囿于算法自身存有的安全漏洞、数据采集或违法使用以及数据存储的不安全等原因，使数据主体的隐私正遭遇赤裸裸的侵犯与泄露的风险。公共视频监控的过度收集和数据共享，不仅令数据主体时刻面临被监控的风险，而且更是时刻面临数据泄露、隐私泄露、敏感信息被识别、数据泄露风险提高等伦理危机[11]。

置身于信息时代的我们，智能手机等电子设备不可或缺，一旦数字设备连接网络，互联网服务供应商、移动运营商、电子邮件账号供应商等自然负有保护用户在线对话、发布图片等使用痕迹的隐私信息的责任。但是，一旦警方或其他政府机构要求调取信息时，根据电子前沿基金会的报告，大多数服务供应商（如雅虎、微软、脸书和谷歌）均在未通知用户的前提下全盘提交[12]。显然，很多服务供应商即使尽全力保护用户的隐私，但面对公权力的要求，也不得不向其披露借助算法决策得到的用户信息。

（二）算法歧视风险

算法决策能被普遍接受的重要原因，即是借力机器决策能在一定程度上克服人为的主观障碍。但因使用者本身的目的性、算法决策过程的不透明、算法自主学习的偏见性以及决策者与被决策者之间信息严重不对称等因素，隐蔽了算法决策的复杂性与歧视性风险。

算法收集的每一份数据都具有重大的经济价值。所以，算法决策使用者为实现利益最大化，往往借由机器优势大肆分析海量数据以获得更深层级的数据，从而达到商业监视等经济目的。如以“大数据杀熟”为原理的价格歧视就使数据主体遭受不公平待遇——会员票价反而比非会员票价高，高档手機付费更多，商品搜索频次越多越贵等，均是该类歧视的典型表现[13]113。另外，算法使用者还藉由“用户画像”，即通过数据分析描述用户的行为信息和性格特点，对不同群体进行分类与身份建构，从而进行特定推送，助力交易目的达成[14]。理论上而言，算法决策是一种“偏见进，则偏见出”的运作模式[13]112。因此，算法决策的前提，即数据的选择和收集对决策结果的非歧视性具有决定性影响。对此，尽管已引发技术层的重视，并选择相应的替代变量取代敏感性信息，如邮政编码、信用评分等，但这些替代变量是否符合算法决策目的特定原则，又是否会带来其他“副作用”，仍存质疑算法决策目的特定原则，是指要求所收集的数据属于支持该决策的相关因素，且应该在数据收集之前明确。。因为算法参数可能是某些偏见数据通过计算后的间接结果，只是表面看来属良性属性[6]135-136。

可以说，算法决策总是蕴含着价值判断，总是与特定的价值立场相关，甚至于背后隐藏着利益集团的操控[15]。美国小城雷丁利用大数据分析初创公司PredPol生产的犯罪预测软件，协助警方进行巡逻与犯罪预防。该软件将地理位置作为基础数据，且重点关注每一次犯罪的类型、时间与地点，表面看似客观、合理，但是其最终仍依赖于警方对犯罪类型的选择。如果该地警方选择的犯罪类型包含流浪、酗酒以及侵犯型乞讨等在美国贫困地区十分常见的犯罪，那么，该软件在囊括这类轻微犯罪数据的基础上，会得出“贫困地区更有可能发生犯罪”的轻率结论。如此，更多警力将被派驻于贫困地区[16]，进而记录到更多犯罪数据。此种数据选择失误引起的算法歧视，将会产生持续性的恶性循环，严重影响社会治安管理秩序。

（三）人类自主性受损风险

算法决策在人类社会扮演着日益重要的角色，甚至逐渐超越工具属性而成为信息配置的基本规则，开始独立拥有巨大的资源配置权，削弱、取代人的主体地位[17]。算法决策精确、高效、便捷等自身优势，利导着人类大量应用而对其产生过度依赖，极度降低了人类的自主性特质。

此类风险于司法、行政等公权力领域的表现尤甚明显。于前者，在仰赖法官自由心证、自由裁量的民事审判实践中，算法决策难以涵盖法官长期积累的审判经验，更无法替代法官的自由裁量权。因此，依赖算法决策技术的审判活动，必然会造成削弱法官主体中心的潜在风险。马尔库塞说，因科学技术具有明显的工具性和奴役性，甚至具有统治人和奴役人的社会功能，从形式上看，技术运用可能在短期内似乎强化了法官能力，但从长远而论，则会形成一种对法官的隐形操纵，从而使得司法决策由“以法官为中心”逐渐转向“以数据为中心”[18]106。前述之再犯风险评估和量刑评估等软件，就是该类风险在司法领域的竞相表现。

同样，在行政管理活动中，如果任由算法决策在行政领域的肆意、泛化应用，势必削弱甚至吞噬行政裁量的能动性。以行政处罚为例，在传统行政模式下，行政机关可在法定的处罚种类和处罚幅度内进行合理的选择，但在自动化行政中，借助算法决策辅助行政处罚，根本无从及时、有效地发挥行政主体享有的行政裁量权的功能与作用。自然，若行政机关主体长期完全依赖算法决策结果，势必侵蚀行政主体的自主判断能力，甚至无法及时检测出错误的决策结果。

三、域外算法决策风险防范的经验借镜

算法决策技术带来隐私泄露、算法歧视以及人类自主性受损等风险。为此，美国、欧盟、德国等国家或地区都提出了针对性举措，为中国构建算法决策风险防范路径提供了有益资鉴。

（一）美国：健全的算法决策法律规制体系

择以自动化行政中算法决策应用的治理政策论，美国业已形成政府与非政府组织之间双向协同规制模式，即政府主导，建构自上而下、建制完备的算法决策之相关制度与规范规则。同时，其非政府组织也积极作为，且以更新、更快、更强的针对性举措，积极规避、防范行业内部的算法决策风险。

在算法决策法律制定与设计层面，美国联邦政府正愈加积极表现，各种举措不仅规制联邦行政机关的行为，同时规制私人企业等非政府组织的行为。早在1970年和1974年，美国联邦贸易委员会（FTC）就分别颁布《公平信用报告法》（FCRA）和《平等信用机会法》（ECOA），其内容就已涉及信用评分领域的自动化决策[19]。显然，美国对算法自动化决策早有足够的关注与重视，并且在信用评分这一特定领域实施了针对性规制。其后，2000年生效的《儿童在线隐私保护法》专门对13岁以下儿童的个人隐私设定特别的保护要求;2016年，联邦政府更是相继发布《人工智能报告》《人工智能战略计划》以及《人工智能应用监管指南》[20]14-18。上述一系列联邦相关立法、战略性计划均是人工智能领域的专门性法律文件，立足重点性、针对性监管的要求，促进以算法决策为核心的智能技术的开发与运用，也尽可能保证智能技术系统的安全。

同时，美国联邦贸易委员会（FTC）也一直密切关注并监管侵犯隐私规则问题。为此，FTC多次专门举办听证会，探讨算法、人工智能和预测分析的竞争以及消费者保护等重大问题，其重点关注算法、人工智能和预测分析的背景、技术应用、应用原则以及消费者保护[21]。另外，美国各州和地方政府亦以立法形式直接规范各种场景下的算法决策应用——现已有40个州通过法律或行政命令实施对自动驾驶汽车的规制。2017年，纽约市议会成为首家通过算法透明法案的地方立法机构;佐治亚州和佛罗里达州及时更新社会服务相关立法，明确算法决策系统所涉及的政府资源等社会服务的优先次序和分配问题[20]22。可见，美国联邦政府对于算法决策等人工智能新型技术的规制正趋向全领域的应用与监管。

必须指出的是，美国非政府组织对算法决策风险治理也发挥着重要作用。诸如人工智能伙伴关系、消费者报告组织、民主与技术中心等社会性组织，在技术政策、公民权利、自律性规制等领域协助政府开展工作，已经成为指导未来算法政策和原则的重要力量。此外，为加强算法歧视的自律性规制，美国计算机协会还专门发布了關于算法透明度及可审查性的七项基本原则，即算法透明原则、算法救济原则、算法负责原则、算法解释原则、算法数据可靠性原则、算法可审查原则和算法验证原则[22]117。实践中，旨在为算法决策系统的合理运行提供规范性标准之七项基本原则的协同配合，设计阶段就须加强、完成算法决策系统的合理性与公平性检测。

质言之，在政府与非政府双向协同规制模式下，美国已逐步形成健全的算法决策法律规制体系，奠定其算法决策的规范支持，指导或指示算法决策于各种场景中的高效应用。这样，不但缓释使用者与决策对象之间的权益摩擦，而且也积极促进、保障以算法决策为核心的人工智能新型技术的科学发展。

（二）欧盟：数据主体的反自动化决策权

2018年5月，欧盟正式实施《通用数据保护条例》（GDPR），在其成员国内部全面生效。作为数据保护的典范性法律规范，GDPR关于算法决策应用风险的防范与规避在世界范围内都具有显著的示范性作用。

GDPR第22条确立数据主体享有不受自动化决策影响的重要权利，亦即学者谓之“反自动化决策权”。GDPR针对算法决策风险防范中最为突出的措施就是赋予数据主体这一新权利——“反自动化决策权”，以此反向强化数据控制者责任[22]506。

其实，欧盟早在1995年的《数据保护指令》（DPID）中就已作出“数据主体有权反对自动化决策的影响”的规定。其第15条第1款规定，成员国应赋予每个人一种权利，一种不受完全基于数据自动化处理而对自身产生显著法律影响的权利。这也是第一个立足数据保护背景的规范完全基于机器决策结果的欧盟立法[23]。现行GDPR第22条即是DPID第15条的延续和发展，其具体内容如下参见欧盟《通用数据保护条例》（GDPR）。。

第一，数据主体有权反对此类决策：完全依靠自动化处理（包括用户画像）对数据主体做出的具有法律影响或类似严重影响的决策。

第二，当决策存在如下情形时，第1款不适用：（a）当决策对于数据主体与数据控制者的合同签订或合同履行是必要的;（b）当决策是欧盟或成员国的法律所授权的，控制者是决策的主体，并且已经制定了恰当的措施保证数据主体的权利、自由与正当利益;（c）当决策建立在数据主体明确同意的基础之上。

第三，在第2款所规定的（a）和（c）中，数据控制者应当采取适当措施保障数据主体的权利、自由、正当利益，以及数据主体可以对控制者进行人工干涉，以便表达其观点和对决策进行异议的基本权利。

第四，第2款所规定的决策的基础不适用于第9条第1款所规定的特定类型的个人数据，除非符合第9条第2款（a）或（g）的规定，并且已经采取了保护数据主体权利、自由与正当利益的措施《通用数据保护条例》（GDPR）第9条（对特殊类型个人数据的处理）第1款规定：对于那些显示种族或民族背景、政治观念、宗教或哲学信仰或工会成员的个人数据、基因数据、为了特定识别自然人的生物性识别数据以及和自然人健康、个人性生活或性取向相关的数据，应当禁止处理;第2款（a）规定：数据主体明确同意基于一个或多个特定目的而授权处理其个人数据，但依照欧盟或成员国的法律规定，数据主体无权解除第1段中所规定的禁令的除外;第2款（g）规定：处理对实现实质性的公共利益必要的、建立在欧盟或成员国的法律基准之上、对实现目标是相称的、尊重数据保护权的核心要素，并且为数据主体的基本权利和利益提供合适和特定的保护措施。。

GDPR第22条第1款直接确立数据当事人有权不受仅基于自动化处理的、包括对其产生法律影响或对其产生类似重大影响的决定的权利;第2款是第1款的豁免条款，列明不适用的具体情形，反向界定数据主体不受自动化决策影响的明确范围;第3款又是第2款豁免条款的条件限制，指出当数据控制者以合同签订或履行为必要、或以数据主体明确知情同意为理由而认为数据主体不享有反对自动化决策影响的权利时，应采取适当措施保障数据主体的权利、自由和正当利益，并允许数据主体对数据控制者进行人工干涉，表明其异议立场或自生观点的基本权利;第4款重在强调对个人敏感性数据的高度关注。

相较于DPID第15条，GDPR第22条完善并着重强调数据主体的基本权益，为数据主体夯实更全面、更有力的法律保护基础。其序言第71条明确强调，数据主体有权反对基于自动化处理并对其产生法律影响或者其他显著影响的决策结果，且数据主体有权要求进行人工干预这里的自动化处理并对其产生显著影响的决策结果是指：任何形式的自动化处理个人数据，以此评估数据主体的身体素质、工作情况、经济状况、个人喜好、地理位置等相关方面，评估结果对数据主体产生重大影响。。同时，为进一步强化算法决策控制者的责任、保障数据主体的权利，GDPR明确将透明度与问责原则列为数据处理的核心原则，并通过设立欧盟层面的数据保护委员会和成员国层面独立的数据保护监管机构，形成相当完备的行政监管体系[24]。

为应对算法决策带来的隐私泄露、算法歧视等风险，欧盟已然开创“反自动化决策权”（国内有学者译成“算法解释权”）之先河，意旨尊重数据主体的个人基本权益和人格尊严，降低甚至杜绝算法决策应用风险给数据主体带来的权益损害与不利后果。

（三）德国：苛严的算法决策应用规制

面对高精尖性的算法决策技术，德国提出了更高、更严的要求。其在遵守GDPR的基础上，积极制定符合本国发展形态的专属制度规范，以防范、规避算法决策的应用风险。其中，算法决策于行政领域应用的专门规制是最重墨之笔。

2017年6月，德国联邦议院通过《欧盟数据保护适应和实施法案》，就此开启欧盟GDPR基本规定的适用[25]。针对行政管理活动领域中的算法决策应用，也为促进科技自由发展与数据主体权利保护的平衡，顺应行政现代化、智能化的发展，加速税收和社会法领域的程序现代化建设，德国专门在《税收条例》和《社会法典（第十卷）》引入全自动作出的具体行政行为条款，并于2017年扩展至一般《行政程序法》，即在《行政程序法》中引入“全自动作出的具体行政行为”概念，并匹配若干法条的修改以弥补自动化行政中法律依据存在的瑕疵，以此规范算法决策在自动化行政中应用的具体行为[26]170。

同时，德国已开始尝试直接规制算法设计本身，试图促令法律和伦理规范径直进入算法。德国交通部部长任命的伦理委员会就有专门报告，要求算法编写者遵守一系列伦理法则，并提出具体的20条伦理指导意见，其核心即要求把人的生命放在首位[1]73。另外，第36届信息官员自由会议也通过“算法在公共管理中的透明度”文件，其中规定德国政府部门使用算法必须要予以公布的具体内容[27]：（1）有关程序输入、输出数据的类别信息;（2）算法所涉逻辑，包括计算公式、输入数据的权重、基本的专业知识以及用户部署的个人配置;（3）最终决策的范围以及程序可能产生的后果。显然，德国主流观点认为，重视法律与伦理规范、明确算法透明度问题，是保障算法决策结果准确、公平、有效的重要因素。

综合前述，各国为防范或规避算法决策于各种领域应用的实然风险，都有因应本国特点的自主制度或规则设计。美国基于政府与非政府组织的协同规制，形成一种健全的法律规制体系;欧盟GDPR第22条特别强调数据主体享有的反对自动化决策影响的权利，在保护自然人基本权利与自由的同时，更彰显算法决策风险防范的事后规制措施的示范性作用;德国在遵守GDPR的基础上，积极制定符合国家发展形态的专属制度规范，重点是算法决策在行政领域应用的特殊规制，以此促进科技自由发展与数据主体权利保护达致平衡。

四、算法決策风险防范路径的中国展望

随着算法决策技术广度、深度的进一步拓展与深入，不仅会加重上述三大主要风险的危害性，而且未来还可能产生不可测之风险类型。为积极应对已有风险，有效防范将来风险，我们必须制定并完善算法决策的相关制度规定、加强算法决策风险评估机制、明确算法决策风险责任规定等，以尽可能实现算法决策风险的事先预防与事后救济。

（一）重申、确立并加强人的主体地位

马长山指出，当下的人工智能仍定性为人类所创造的高度自动化、智能化的工具，虽然该工具发展到一定阶段能够模仿人类动作与感受，但终究非属人类。换言之，人工智能并无自主意志，仅是技术产出品，根本上就只能定性其为工具属性[28]。同样，为有效防范、规避算法决策的应用风险，确定数据主体事后救济的问责对象，必须加强算法决策使用者的主体地位意识并明确算法决策的工具属性。

以民事审判为例，算法决策作为司法机关在司法实践中采用的一种治理手段或工具，即是辅助司法机关进行决策。即便未来算法决策技术向高精尖飞速发展，甚至直接取代人工决策而作出最终判定，也无从改变其辅助性的工具属性。简言之，无论是辅助人工决策还是取代人工决策，算法决策都仅被限定以辅助地位、协助司法机关完成审判工作。此外，在不同场景应用中，算法决策控制者或使用者应当牢牢掌握算法决策技术的主导权，不可全仰赖决策系统，必须严防或杜绝算法决策技术在深入发展和渗透后完全取代人为决策的可能，甚至凌驾于人为决策之上。

无论算法决策应用是在司法审判、行政管理活动还是商业领域，都不能改变算法决策的工具属性。所以，必须厘清算法决策使用者与算法决策技术本身的主次关系，以规范算法决策技术的发展方向，使其不偏离自身的工具属性定位。

（二）完善算法决策的相关制度规定

大数据时代，算法决策技术带来诸多不确定性，虽然制度的出台总是滞后于技术的发展，但是以制度的方式规制已知的事物是非常有效的[29]。基于前述对美国、欧盟、德国的比较考察与经验借镜，立足本国国情，及时制定完善相关法律法规与具体规则已势成必然。

2016年，我国颁布了《中华人民共和国网络安全法》，旨在保障我国网络运行安全和信息安全，维护网络空间主权和国家安全以及社会公共利益，保护公民、法人和社会其他组织的合法权益，促进经济社会信息化的健康发展[30]。依据该法第四章之网络信息安全的规定，以列举方式明确指出网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，明示收集、使用目的，并须经被收集者同意;网络运营者应当确保其收集个人信息的安全《中华人民共和国网络安全法》第41条规定：“网络运营者收集、使用个人信息，应当遵循合法、正当、必要的原则，公开收集、使用规则，明示收集、使用信息的目的、方式和范围，并经被收集者同意。网络运营者不得收集与其提供的服务无关的个人信息，不得违反法律、行政法规的规定和双方的约定收集、使用个人信息，并应当依照法律、行政法规的规定和与用户的约定，处理其保存的个人信息。”第42条规定：“网络运营者不得泄露、篡改、毁损其收集的个人信息;未经被收集者同意，不得向他人提供个人信息。但是，经过处理无法识别特定个人且不能复原的除外。网络运营者应当采取技术措施和其他必要措施，确保其收集的个人信息安全，防止信息泄露、毁损、丢失。在发生或者可能发生个人信息泄露、毁损、丢失的情况时，应当立即采取补救措施，按照规定及时告知用户并向有关主管部门报告。”。另外，在《中华人民共和国个人信息保护法（草案）》中也明确规定了个人信息处理的基本原则、协调个人信息保护与促进信息自由流动的关系，以及有关敏感个人信息问题等诸多内容[31]。

显然，数据安全是一切问题的首要出发点。为规范算法决策于数据收集与使用阶段的严谨性，切实防范算法决策隐私泄露风险，我国在制定算法决策相关制度时，自然必须重视数据安全问题。如明示算法决策使用者应当遵循合法、必要、正当的原则;明示数据收集和使用的目的，积极保障数据主体的知情同意权益;遭遇算法决策使用者未经数据主体同意而擅自采集或者不合目的使用数据时，数据主体有权提出异议等。特别需要指出的是，就此数据主体的异议权可借鉴GDPR第22条规定，即在公权力应用算法决策场景下，对数据主体做出具有法律影响或类似严重影响的决策结果时，数据主体有权对该结果提出反对意见。具体应用：在算法决策辅助自动化行政过程中，行政相对人之数据主体有权要求人工介入;对此情状，行政主体必须听取相对人的陈述，如果要求合理，则必须即时中断自动程序而转入普通程序。此外，行政主体还负有于法定情形下须履行主动中断自动程序的义务，如根据德国《税务条例》和《行政程序法》的规定，可要求行政机关对个案相对人在自动程序外的重要情况进行调查，若符合中断条件，行政机关必须主动恢复普通程序[26]177。

此外，相应制度规定还应满足算法决策于不同领域的具体应用场景。仅类化于行政管理、司法审判及民商业等领域，算法決策也并非能适用其各自领域下的所有场景。当外部环境阻碍机器决策、或有造成决策结果错误风险之虞，该类场景就只能采用人为决策。对此，德国行政程序法就专门针对算法决策于自动化行政领域的应用限定两个条件：（1）法律保留，即仅当法律法规允许时方可适用;（2）仅限行政机关无裁量或无判断余地时方有适用空间[10]89。“两个限定条件”可为我国明确算法决策的具体应用场景提供有效资鉴。对于法律保留论，还须提供原则性指引，而非面面俱到地实施干预，如在授益行为、不涉及当事人重大利益事项上，法律可以对算法决策于行政管理活动的应用赋予概括性授权以释放创新空间。当然，在情况较为复杂、尤其关乎人身权益等决策不可逆的场景下，算法决策应用必须审慎以待。

（三）加强算法决策的风险评估机制

以算法决策为核心技术的一系列人工智能新型技术的应用已成必然。因此，为促进算法决策技术的良性发展，同时保障数据主体的合法权益，维护社会秩序的稳定性，必须有侧重、分步骤地有效运行算法决策风险的评估机制。

算法决策的运行基础是数据，数据质量即是其风险评估的基础性要件。为验证数据质量是否存在瑕疵，以及该瑕疵对决策结果产生的消极影响又是否超过其为决策结果带来的积极影响，同时还需研判算法决策于具体场景适用的可行性。所以，事先必须用比例原则对算法决策系统进行风险评估。具体操作可依据以下“三个判断”进行[18]112：（1）适应性判断。判断算法决策系统的设计是否合理、合法，且决策系统对数据的收集、选择和处理又是否能最大限度降低数据质量瑕疵（如隐私信息、敏感性信息），以达到使用者预期目的。（2）均衡性判断。比照算法决策系统运行可能产生的积极影响与消极影响，只有确认前者明显高于后者时才可通过评估。（3）必要性判断。使用者应采用对数据主体消极影响最小的算法决策系统，以最大限度降低技术的不确定性和数据质量瑕疵，否则，决策结果可靠性无以保障。即仅限于同时满足“三个判断”评估模式的算法决策系统才可通过事前检测并被投入实践应用。

风险评估的先行者莫过于德国。20世纪70年代，德国《联邦数据保护法》就作出规定，自动收集、处理和使用个人数据的公共机构和私法主体，或以其他方法处理个人数据并且至少拥有20人长期雇员的，或因市场研究目的而自动处理数据的私主体，都必须书面任命常设的个人数据保护顾问，否则将承担相应的法律责任[32]48-49。同时，为赋予个人数据保护顾问以更强的权力支撑，在企业外部还设立数据保护监管局。当个人数据保护顾问面临来自企业的压力时，还可向数据保护监管局寻求援助[32]49。但需明确的是，该顾问在企业算法治理、数据活动的监管中始终占据主体地位，而数据保护监管局反倒成了辅助角色。可以说，德国践行的是以行业自律加政府监管之双重风险评估机制——不仅自主督进企业内部的算法决策风险防范，也同步提升政府监管的力度。当然，在某种程度上，也正因企业外部数据保护监管局的存在能有效防止个人数据保护顾问沦为摆设，更有利于促进个人数据保护顾问职权的有效行使。

基于此，我国在这一相关制度或机构的设定方面，就应明示个人数据保护顾问的相关规定。首先，企业内部的个人数据保护顾问应熟悉该企业的基础业务，同时还须掌握算法决策与数据保护的基本知识，因为算法决策的强技术性与隐蔽性不可能促令企业员工都具备检测本企业算法风险的技能。但是，对于个人数据保护顾问而言，具备专业技能和随时可检测算法决策风险的能力是其必备条件。其次，个人数据保护顾问还应具有相当的责任意识，积极履行自身风险评估职责，适时提出异议。若企业施以高压，该顾问应当及时请求数据保护监管局的适时介入与调查。数据保护监管局亦须具备评估算法决策风险的专业技术与能力，以认真监督该顾问履职情况，并定期接受关于算法决策应用的情况汇报。

（四）明确算法决策风险的责任规定

划定算法责任归属，不仅是为了明确算法决策风险引起的责任承担，而且也是为使算法决策技术能以一种更负责任的方式良性运行。无论于各种应用场景，都应当有因应的责任界定与划分。

尤其关涉公权力领域的应用，更需有责任主体的明确规定。无论行政管理或司法裁判，公权力机关都是通过与私人技术主体的公私合作方式进行应用算法决策。因此，算法决策过程的实际主体至少有公权力机关、数据主体以及私人技术主体三类。然而，不管是人为决策行为还是算法决策行为，其法律意义上的主体仍是公权力机关，私人技术主体只是公权力机关实现其行为目的的辅助与载体。所以，于数据主体而论，无须关心到底哪些主体介入行政或司法程序，只需针对法律规定的行使公权力的权力主体寻求救济即可[33]。即一旦算法决策风险造成数据主体权益受损，公权力机关即成责任主体，数据主体应当向公权力机关问责。至于私人技术主体承担的责任，主要关涉其与公权力主体之间的合作协议，如果私人技术主体存在过错，按协议约定承担相应的责任即可[33]。因此，对于公权力领域下三重主体共同参与的算法决策过程，责任主体的认定并无根本性变化，仅需藉由算法决策相关制度进行细节的调整和明确即可。

对于商业领域的应用，则须加强算法决策设计者、使用者的责任规制。2018年，我国通过《中华人民共和国电子商务法》，首次明确网络平台不合法设计、部署和应用的部分算法责任，包括搜索算法（竞价排名）的明示义务、推荐算法的消费者保护义务等，体现立法者对算法地位和作用的合理认知[34]。同时，落实有效调整算法决策风险的责任规定：（1）优化系统本身，加强算法决策系统设计者的风险责任意识，促令其于设计之初须充分考量算法风险防范与可问责性问题[35];（2）明确算法决策设计者、使用者应当遵守的基本原则，以强化责任意识，形成高效的自律性规制。一如前述美国行业内部的自律性规制范式，该国计算机协会通过发布有关算法透明度及可审查性的七项基本原则，以此规范算法决策使用者的行为，降低算法决策风险发生的概率。我国可以此为资鉴，适时调整、完善算法决策风险责任的相关规定，有效防范算法决策风险的发生，并最大化降低因法律模糊性而遭致数据主体的二度伤害。

五、结 语

实践证明，协调算法决策等科学技术的发展与数据主体合法权益的保障二者之关系，已然成为大数据时代人们的共同关注焦点。藉由他山之石路径考察与经验借镜，中国于算法决策风险防范的法制路径构建，首先，必须立足本国国情的切实考量，重申、确立并加强人的主体地位意识，更须对算法决策之工具辅助属性进行明确定位。在此前提下，及时、有效地制定相关法律法规及其配套制度与具体规则，以此秉持、恪守规范算法决策于数据收集与使用阶段的严谨性，清晰界定算法决策于行政、司法或商业领域中的具体应用场景。其次，还须以比例原则加强算法决策风险评估机制，并尝试在企业内部增设个人数据保护顾问，以实现风险评估的专人负责制。最后，还须明确算法决策风险的责任规定，明示责任主体，强化算法决策设计者、使用者的风险责任意识。诚然，无论于行政、司法等公权力领域，抑或商业等其他领域，算法决策风险都无法一一避及。今后，伴随算法决策技术的深度发展、人工智能自主学习能力的突破性进展，定会产生更多不可预估之风险。因此，我们必须不断审视算法决策技术，增强自身风险防范能力，以促进算法决策技术的良性发展，尽可能最大化地保障数据主体的合法权益不受侵害。

参考文献：

[1] 郑戈.算法的法律与法律的算法[J].中国法律评论，2018（2）.

[2] 杜宴林，杨学科.論人工智能时代的算法司法与算法司法正义[J].湖湘论坛，2019（5）：65.

[3] 全国首次！上海法院运用“206系统”辅助庭审防范冤假错案[EB/OL].（2019-01-26）[2020-09-04].https：//www.sohu.com/a/291606945_100114073.

[4] 王海如.论司法人工智能在民事审判中的应用[D].南昌：南昌大学，2020：5-18.

[5] 谭九生，杨建武.智能时代技术治理的价值悖论及其消解[J].电子政务，2020（9）：34.

[6] TENE O， POLONETSKY J. Taming the Golem：Challenges of Ethical Algorithmic Decision-Making[J]. North Carolina Journal of Law & Technology，2017（1）.

[7] 张恩典.大数据时代的算法解释权：背景、逻辑与构造[J].法学论坛，2019（4）：154.

[8] 孙建丽.算法自动化决策风险的法律规制研究[J].法治研究，2019（4）：109.

[9] RADEMACHER T. Of New Technologies and Old Laws： Do We Need a Right to Violate the Law？[J]. European Journal for Security Research，2020（5）：4.

[10]马颜昕.自动化行政的分级与法律控制变革[J].行政法学研究，2019（1）.

[11]赵敏.公共视频监控的大数据伦理问题——以个人信息安全为中心[J].中国人民公安大学学报（社会科学版），2020（1）：98.

[12]特蕾莎·M·佩顿，西奥多·克莱普尔.大数据时代的隐私[M].郑淑红，译.上海：上海科学技术出版社，2017：46.

[13]郑智航，徐昭曦.大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例[J].比较法研究，2019（4）.

[14]张凌寒.算法权力的兴起、异化及法律规制[J].法商研究，2019（4）：67.

[15]丁晓东.算法与歧视：从美国教育平权案看算法伦理与法律解释[J].中外法学，2017（6）：1622.

[16]凯西·奥尼尔.算法霸权——数学杀伤性武器的威胁[M].马青玲，译.北京：中信出版集团，2018：91-94.

[17]张凌寒.风险防范下算法的监管路径研究[J].交大法学，2018（4）：54.

[18]王禄生.司法大数据与人工智能技术应用的风险及伦理规制[J].法商研究，2019（2）.

[19]KEATS D， PASQUALE C F. The Scored Society： Due Process for Automated Predictions[J]. Washington Law Review，2014（1）：16.

[20]陆凯.美国算法治理政策与实施进路[J].环球法律评论，2020（3）.

[21]算法、人工智能和预测分析的竞争和消费者保护问题[EB/OL].[2020-07-09].https：//www.ftc.gov/news-events/events-calendar/ftc-hearing-7-competition-consumer-protection-21st-century.

[22]KEDZIOR M. GDPR and beyond—a year of changes in the data protection landscape of the European Union[J]. ERA Forum，2019（19）.

[23]MENDOZA I， BYGRAVE L A. The Right Not to be Subject to Automated Decisions Based on Profiling[M]//EU Internet Law. Cham： Springer，2017：78-79.

[24]程莹.元规制模式下的数据保护与算法规制——以欧盟《通用数据保护条例》为研究样本[J].法律科学（西北政法大学学报），2019（4）：49-50.

[25]MOLNáR-GáBOR F. Germany： a fair balance between scientific freedom and data subjects rights？[J]. Human Genetics，2018（8）：619.

[26]查云飞.人工智能时代全自动具体行政行为研究[J].比较法研究，2018（5）.

[27]张凌寒.算法自动化决策与行政正当程序制度的冲突与调和[J].东方法学，2020（6）：12.

[28]马长山.人工智能的社会风险及其法律规制[J].法律科学（西北政法大学学报），2018（6）：48.

[29]杜婧，张凌寒.以数据化的隐私权为代价——Google搜索引擎并不“免费”[J].长春理工大学学报（社会科学版），2017（1）：35.

[30]中华人民共和国网络安全法[EB/OL].（2020-04-24）[2020-06-05]. https：//www.fjcpc.edu.cn/jgdzz/2020/0424/c2231a65107/page.htm.

[31]中华人民共和国个人信息保护法（草案）[EB/OL].（2020-10-22）[2020-10-25].http：//fzzfyjy.cupl.edu.cn/info/1077/12335.htm.

[32]林洹民.自动决策算法的法律规制：以数据活动顾问为核心的二元监管路径[J].法律科学（西北政法大学学报），2019（3）.

[33]马颜昕.自动化行政方式下的行政处罚：挑战与回应[J].政治与法律，2020（4）：147.

[34]张凌寒.《电子商务法》中的算法责任及其完善[J].北京航空航天大学学报（社会科学版），2018（6）：16-17.

[35]约叔华·A·克鲁尔，乔安娜·休伊，索伦·巴洛卡斯，等.可问责的算法[J].沈伟伟，薛迪，译.地方立法研究，2019（4）：106.

Research on the Legal Path of Algorithmic Decision Risk Prevention

CHEN Yang， PEI Yanan

（School of Cyber Security and Information Law， Chongqing University of

Posts and Telecommunications， Chongqing 400065， China）

Abstract：

With the in-depth application of algorithmic decision-making in administrative， judicial， and commercial fields， privacy leakage， algorithmic discrimination， and damage to human autonomy have become the three major risks. To prevent these risks， the first thing to do is to reiterate， establish， and strengthen the awareness of human subjectivity， and to reversely locate the tool attributes of algorithmic decision-making. Under the guarantee of this premise， we should actively learn from the extraterritorial experience of the United States， the European Union and Germany， study the system construction and rule design of algorithmic decision-making in these countries or regions， and pay special attention to the pertinence and professionalism of their legal systems and rule design. Of course， it is necessary to base on the specific national conditions of our country， effectively grasp the pulse of the development of the era， and use the principle of proportionality to strengthen algorithmic decision-making risk assessment mechanism， scientifically and reasonably define the responsible party， and clearly formulate relevant laws and regulations for the responsibility of these risks， so as to minimize the second degree of harm to the data subject due to legal ambiguity.

Keywords：

algorithmic decision-making; algorithmic decision-making risk; risk assessment; responsibility regulation

（編辑：刘仲秋）