胡元聪 李雨益

[摘要]近年来，国内人工智能产品层出不穷，成功吸引着大量消费者尝鲜买单。人工智能的技术风险与滞后的法律规范之间的矛盾冲突使得人工智能产品风险防范制度面临全新挑战。面对人工智能产品违背伦理道德、引导不合理消费、损害精神安全等风险，亟待从企业社会责任的内在逻辑和现实要求入手，在人工智能企业与消费者之间合理配置权利与义务，明确人工智能企业研发生产、缺陷产品管理等方面的社会责任，并通过积极变革与创新人工智能产品风险防范制度来降低相应风险。

[关键词]企业社会责任;人工智能产品;风险防范;发展风险

[中图分类号]F49

[文献标识码]A

[文章编号]1673-0461（2020）04-0019-08

一、研究背景与问题

人工智能企业的发展已备受世界瞩目。我国《新一代人工智能发展规划》提出，要积极发展人工智能新兴产业，到2030年使中国成为世界主要人工智能创新中心。《促进新一代人工智能产业发展三年行动计划（2018-2020年）》也提出，要培育人工智能创新标杆企业，搭建人工智能企业创新交流平台。[1]然而，发展人工智能产业在促进经济增长和社会发展的同时，其运用的人工智能技术也存在不确定性和潜在的安全风险，并可能带来伦理、法律和社会危机。面对处于快速发展和变化过程中的人工智能技术，一方面目前的法律体系并不能适应人工智能领域一系列的特殊问题，人工智能领域的法律监管工作无法可依、无章可循，[2]而制定出台新的法律尚待时日。另一方面政府对于人工智能企业应当承担何种社会责任也尚未形成共识。旧有的科技创新模式、政策法规、评估方法和科学社会契约关系等在面向新兴科技创新治理时存在制度缺失。所以，科技创新的社会责任议题引发了学术研究者和政策制定者的关注。[3]因此，积极探讨人工智能企业社会责任[4]①可以采取的制度化途径，对研究新型智能技术下的产品风险防范具有重要意义。

随着人工智能企业不断发展以及人工智能技术不断革新，产品安全隐患、交易不公、个人信息隐私泄露、行为被监视等侵犯消费者权益的负外部性现象层出不穷且愈演愈烈。如越南公司BKAV用3D打印技术破解iPhoneX的面部识别技术，加大了消费者设备隐私方面的风险;Knightscope平台曾打造的“打击犯罪的机器人”在硅谷的一家商场里弄伤了一个16岁的少年;IBM Watson医疗保健应用程序对癌症治疗提出了错误的建议，可能会导致严重甚至致命的后果等等。纵观这些人工智能产品风险带来的责任问题的案例，迫使我们思考：在当今社会能否成功应对人工智能所带来的新的风险和不确定性问题，能否在人工智能时代继续维持秩序与变革、守护与创新、价值与事实之间的动态平衡，便成为今天法律人所必须面对的紧迫问题。[5]通过给企业施加社会责任，即通过经济法规范赋予外部性受体即其利益相关者较多的相关权利，也就是说对企业施加较多的义务，最终实现权利与义务的真正平衡，这是值得探讨的解决途径之一。故本文基于企业社会责任的视域，旨在为应对人工智能产品发展风险和不确定性，探讨人工智能产品的风险防范问题。克劳斯·施瓦布（Klaus

Schwab）指出，当前世界正处在一个拐点上，数字技术的影响力通过自动化的发展和“前所未有的事物”的生产而得到全面的发挥。[6]“前所未有的事物”的生产将对社会产生积极意义上的正外部性和消极意义上的负外部性两方面的影响，为有效应对其产生的负外部性，有多种解决进路。其在人工智能产品上产生的负外部性主要集中体现在人工智能产品研发生产、人工智能缺陷产品管理两方面，故本文重点从这两方面的风险防范出发，深入探讨人工智能企业应当承担的具体社会责任规范，旨在为人工智能产品风险防范制度提供些许创新路径。具体而言，一是人工智能产品的研发生产方面，欧盟委员会认为科学研究与技术创新必须有效反映社会需求和社会意愿、反射社会价值和社会责任，创新应表现为道德可接受、社会期望满足、安全和可持续等，[7]违反基本伦理道德、危害安全、不可持续的创新则应受到约束。那么，人工智能企业需要遵循什么样的伦理道德？如何通过企业社会责任的分配应对这些风险？二是人工智能缺陷产品管理方面，如何通过规范的变革与创新来应对人工智能缺陷产品召回管理面临的新风险？缺陷产品认定标准和生产免责规范的合理性基础受到动摇，如何重新分配权利义务来实现利益平衡、达致实质正义？所以，笔者从人工智能企业社会责任规范角度探讨人工智能产品研发生产、人工智能缺陷产品管理方面的风险防范问题。通过对人工智能产品相关风险防范规范的分析，运用经济法中的市场规制法予以限制或禁止，对企业在承担产品社会责任方面提出全新要求，从而为人工智能企业如何通过降低产品风险履行社会责任，促进人工智能产业高质量发展提供一些具体的参考。

二、企业社会责任视域下人工智能产品风险防范的制度检视

（一）人工智能產品研发生产风险防范的社会责任规范方面

人工智能的某些领域目前已走入法律的无人区。[8]尤其是人工智能产品研发生产的特殊问题尚无相关社会责任规范予以约束，从而带来各类风险，②主要表现在基本伦理道德规范、对消费者合理引导和精神安全保障的社会责任规范难以回应人工智能产品风险防范的时代要求。

1.人工智能产品研发生产风险防范之基本伦理道德规范尚未制定

我国目前尚未制定适用于人工智能产品研发生产的基本伦理道德规范，难以对研发生产阶段的伦理道德失范风险进行防范与应对。全国政协十三届二次会议第三次全体会议上，百度CEO李彦宏发言提到，人工智能伦理将是未来人工智能社会的发展基石，应强化领军企业担当，加快人工智能伦理原则落地。人工智能技术与资本结合愈加强化了企业利益最大化驱动，增加了伦理失范的风险。为降低人工智能产品风险，需要强化对生产企业的责任约束，转变生产企业经济理性的观念，这需要在制度体系方面进行有效规范和保障，进而增强其风险防范能力。但是就人工智能的法律应对而言，我国目前更多的是从产业政策促进、扶持和发展的角度对人工智能提供行政指导。[9]法律关于企业为保障人工智能产品研发生产而需要遵守的基本伦理道德规范欠缺，故无法提供足够必要的社会责任制度供给。从政策层面来看，《中国制造2025》（国发〔2015〕28号）并未提及人工智能制造相关基本伦理道德规范。《国务院关于印发新一代人工智能发展规划的通知》（国发〔2017〕35号）明确提到我国的战略目标是，2020年初步建立人工智能法律法规、伦理规范和政策体系。并且该通知提到了对人工智能产品研发设计人员制定相关道德规范和行为守则，但其并未提及对人工智能产品研发生产的主体——人工智能企业应当承担的基本伦理道德规范进行立法规划。然而人工智能企业却在把控人工智能产品设计生产合乎伦理的过程中扮演着举足轻重的作用，所以制度应明确企业在人工智能产品研发生产过程中应承担的伦理道德责任，从而对基本伦理道德规范缺失风险的防范予以回应。

2.人工智能产品研发生产风险防范之合理消费引导规范尚不完善

毋庸置疑，新技术革命必将创造新的消费需求。从人工智能企业的生产动机来看，人工智能技术与资本的结合进一步激发了企业利益最大化的逐利本性，所以企业为了实现资本经济的良性运行，消费者的欲望、需要和情感便成为资本作用、控制和操纵的对象。[10]从人工智能企业的生产能力来看，在人工智能技术所不断延展开拓的领域中，人工智能技术赋予企业强大的创造、引导、控制消费者消費欲望的能力。当产品超出人们的实际需求时，就必须要想法刺激人们的消费欲望，以为生产提供源源不断的动力，因而消费就成了主导性的逻辑。[11]所以人工智能产品的研发生产在人工智能企业生产动机和生产能力的双重影响下，不仅仅是单纯的满足，同时更是开发、引导消费者产生新的消费欲望和需要的研发生产。这种消费对需要的背离，就使得消费可能突破需要的有限性，从而获得无限扩张的性质，形成过度消费。如果没有相应制度适当约束人工智能产品的研发生产，不断创造消费者“不满足”的这种行为，消费者将会形成一种不合理的消费方式，给人类生存环境带来巨大压力。所以，必须对人工智能企业在人工智能产品研发生产过程中承担引导消费者适度消费的相关责任进行制度回应，进而促进对不合理消费风险的防范。然而在目前的法律法规中，涉及可持续性消费或绿色消费的内容仅仅在个别词语或从侧面有所涉及，[12]并无与产品研发生产相关的消费引导法律规范。

3.人工智能产品研发生产风险防范之精神安全保障规范亟待构建

我国当前人工智能产品研发生产的风险防范之精神安全保障规范尚处于缺失状态。随着AI、算法技术的快速发展，人工智能消费产品将在衣食住行各个方面显著提升生活品质，但其对消费者精神损害的威胁却不容忽视。首先，就人工智能信息产品而言，机器学习、算法机制推动信息产品形态、分发流通渠道的创新。例如短视频平台利用算法，根据用户偏好和兴趣推送内容，目的在于建构使用户上瘾的平台机制。[13]其次，就人工智能实体产品而言，人工智能产品是在使用方式、范围、体验感等方面区别于传统产品的一类产品，如可植入技术、可穿戴设备联网、视觉成为新的交互界面等人工智能技术相关的衍生人工智能产品等。这类人工智能产品的研发生产不仅存在危害消费者人身、财产安全等传统产品也会存在的外在物质风险，还存在使消费者产生逃避现实、上瘾等内在的精神损害风险。易言之，人工智能产品对消费者带来的风险，不仅仅在于人身财产安全层面的损害，更在于精神层面的威胁。然而，对于消费者精神层面风险的产生与防范，人工智能产品生产者——人工智能企业负有不可推卸的责任。因为，“计算机系统中的错误或不当行为的来源可以原则上回溯到对软件设计做出决定的人，无论合理与否。”[14]人工智能产品设计生产者利用算法等技术，在交互界面、软件应用、程序设置等方面引导用户，使之在行为选择的偏好力、信息获取的推动力和逃避现实的诱惑力驱使下养成符合企业盈利意向的行为习惯。显然，这是人工智能产品设计者刻意为之，也能得到企业支持的结果。[15]所以，制度应从人工智能企业承担社会责任的角度出发，对威胁消费者精神安全的风险进行防范。然而，现有法律规定企业仅在消费者人身、财产安全保障两方面承担保证产品质量的义务，人工智能产品研发生产的精神安全保障规范亟待构建。

（二）人工智能缺陷产品管理风险防范的社会责任规范方面

人工智能产品的负外部性除了体现在人工智能产品研发生产方面，还体现在人工智能缺陷产品管理规范的缺乏和滞后难以应对人工智能产品风险。人工智能缺陷产品管理社会责任规范风险防范能力的不足具体表现在召回管理规范、认定标准规范和生产免责规范3个方面的缺乏和滞后。

1.人工智能缺陷产品管理风险防范之召回管理规范尚付阙如

我国现有缺陷产品召回管理制度不足以防范与应对人工智能产品在使用过程中的风险。首先，人工智能缺陷产品召回管理的质量预警规范难以实现。人工智能产品的部分安全风险伴随消费者的使用而产生，难以提前予以控制。比如，可植入技术的相关产品、视觉成为新交互界面的相关产品以及可穿戴设备联网的相关产品等。在消费者使用过程中存在使消费者逃避现实、成瘾以及数据泄露的风险，而这些风险并不能在产品的研发生产阶段内予以有效控制。③并且，人工智能企业有义务对产品销售后的使用状态进行合理监测并及时预警。人是主体，他既能创造，也应该能够控制，道义上也有责任控制自己的创造物。[16]所以，人工智能企业理应承担建立人工智能缺陷产品召回管理风险防范之质量预警机制的责任。但是我国现有规范中仅规定了由消费者保护协会发布产品安全预警的一些规范，并且其影响力度非常小。其次，人工智能缺陷产品召回管理的信息披露制度面临挑战。2016年1月1日实施的《缺陷消费品召回管理办法》（以下简称《管理办法》）将凡是消费品都纳入了召回范围，这为降低产品风险起到了积极作用。2018年2月13日国务院法制办发布了《缺陷消费品召回管理规定（征求意见稿）》（以下简称《管理规定》）。《管理规定》较《管理办法》在信息披露方面增加了生产者应当配合召回技术机构和省级质检部门对有关缺陷信息、投诉信息进行核实确认和技术分析的责任。然而，人工智能企业在缺陷产品召回管理的信息披露方面不可避免地出现隐瞒、欺诈等行为。因为人工智能技术的应用，是通过代码和算法来实现的，大多数人工智能系统都是不透明的，这意味着它们可以规避审查。如果设计开发者刻意在这种算法黑箱中装进过度的商业资本追求、价值偏好和不公正因素，凭借算法来侵蚀大众权益的情况下，[17]要求设计开发者配合召回技术机构和省级质检部门对有关缺陷信息进行核实确认以及技术分析则成为无稽之谈。因此，现有《管理规定》对生产者责任的规定不足以回应人工智能缺陷产品在召回信息披露方面所面临的风险，人工智能缺陷产品召回管理规范的风险防范能力亟需提升。

2.人工智能缺陷产品管理风险防范之认定标准规范亟待革新

（2）人工智能产品生产企业应当有限且适当地承担部分发展风险。维护消费者利益和保障社会安全是有代价的，但是其应当有合理的界限，让企业承担发展风险会增大人工智能技术落地为人工智能产品的阻力，阻碍人工智能技术的进步和社会的发展。如果责任过重，必然阻碍制造者发展人工智能的积极性。但是，基于人工智能企业判断人工智能产品可能发生的抽象危险的能力，人工智能企业应当有限且适当地承担部分发展风险。除此以外，科技进步的风险应由所有享受这种科技进步成果的社会来承担。那么，必须有相关制度帮助责任主体承担人工智能产品的风险，这一制度便是保险制度。[34]

四、结语

在人工智能时代的潮流中，面对人工智能革命给现有制度体系带来的冲击和挑战，变革与创新是不二之选。中国作为全球第一消费大国，也将成为全球最大的机器人市场，[35]同时成为众多人工智能产品的庞大消费市场。人工智能产品风险势必会给消费市场带来冲击，对现有的产品风险防范制度体系带来挑战。所以，对人工智能产品风险的防控势在必行，因此需要积极变革与创新人工智能产品风险防范制度体系，为消费者提供合理适当的制度保护，为人工智能行业发展提供制度支持。易言之，需要积极发挥主观能动性，在享受人工智能带来的技术红利的同时，对人工智能产品可能带来的风险和挑战进行回应，即对其进行合理的法律规制，在遵循造福人类的可持续发展模式下推动我国人工智能产业的高质量发展。

[注释]

①企业社会责任乃指企业在谋求股东利润最大化之外所负有的维护和增进社会公益的义务。

②这里也包括了产品发展风险，因为企业可能故意不提高科技水平，去避免此类缺陷。

③如果是因为科技水平之故，即在科技发展水平提高之后才“发现”的缺陷属于发展风险。

④生产者的后续观察义务即跟踪观察义务，主要是对产品投入流通后的状态进行跟踪，用途为发现产品交付前不知其弱点和缺陷以及获得关于该产品之可靠性、生命周期、操作风险等资料。

⑤第一条：机器人不得伤害人类，或看到人类受到伤害而袖手旁观;第二条：机器人必须服从人类的命令，除非这条命令与第一条相矛盾;第三条：机器人必须保护自己，除非这种保护与以上两条相矛盾。

⑥即人的能动性和监督能力、安全性、隐私数据管理、透明度、包容性、社会福祉、问责机制。

[参考文献]

[1]工业和信息化部.关于印发《促进新一代人工智能产业发展三年行动计划（2018-2020年）》的通知[EB/OL].http：//www.miit.gov.cn/n1146295/n1652858/n1652930/n3757016/c5960820/content.html.

[2]胡元聪，辛茹茹.人工智能对法律监管带来的挑战及制度因应[J].人工智能法学研究，2018（2）：113-128.

[3]梅亮，陈劲，吴欣桐.责任式创新范式下的新兴技术创新治理解析——以人工智能为例[J].技术经济，2018（1）：1-7，43.

[4]卢代富.企业社会责任的经济学与法学分析[M].北京：法律出版社，2002：119-120.

[5][JP2]郑戈.人工智能与法律的未来[J].探索与争鸣，2017（10）：78-84.

[6][德]克劳斯·施瓦布.第四次工业革命[M].李菁，译.北京：中信出版社，2016：6.

[7]OWEN R， BESSANT J， HEINTZ M. Responsible innovation： managing the responsible emergence of science and innovation in society [M]. John Wiley & Sons， 2013.

[8]蔡學恩.关于加快开展人工智能领域立法工作的建议[J].中国科技产业，2018（4）：28-29.

[9]汪庆华.人工智能的法律规制路径：一个框架性讨论[J].现代法学，2019（2）：54-63.[ZK）]

[10]于霄鸣.消费主义的危害和对策[J].盐城工学院学报（社会科学版），2011（1）：36-38.

[11]张舜清.“物象化论”视域下的消费主义与消费正义问题——兼论消费社会中“人”的伦理规定[J].自然辩证法研究，2007（9）：69-74.

[12]郑玉歆.政府引导可持续消费模式的责任与路径[J].学习与实践，2015（1）：5-11.

[13]王洁.短视频的流行及监管[J].中国广播电视学刊，2018（12）：21-23.

[14][荷]尤瑞恩·范登·霍文， [澳]约翰·维克特.信息技术与道德哲学[M].赵迎欢，等译.北京：科学出版社，2014：223.

[15]卢嘉瑞，李增军.智能消费的若干伦理问题[J].经济与管理，2018（2）：53-57.

[16][JP3]王家范.科技创造必须以人为本[J].探索与争鸣，2017（10）：21-22.

[17]马长山.人工智能的社会风险及其法律规制[J].法律科学（西北政法大学学报），2018（6）：47-55.

[18]张凤凉，涂静.质量优先背景下我国产品质量法律体系的完善[J].华南理工大学学报（社会科学版），2018（2）：48-55.

[19]张云.违反产品后续观察义务的侵权责任构成及抗辩[J].法治研究，2018（5）：93-104.

[20][JP2]马长山.智能互联网时代的法律变革[J].法学研究，2018（4）：33.

[21]日本内阁府.以人类为中心的人工智能社会原则[EB/OL].http：//www.sohu.com/a/290057926_485245.

[22]张建文.阿西莫夫的教诲：机器人学三法则的贡献与局限[J].人工智能法学研究，2018（2）：21-37.

[23]方莹馨.欧盟发布人工智能伦理准则[N].人民日报，2019-04-11（17B）.

[24][美]卢克·多梅尔.算法时代：新经济的新引擎[M].胡小锐，等译.北京：中信出版社，2016：144.

[25]鲁政委，汤维祺.兴业研究：上市公司ESG披露、评估与应用[EB/OL].[2017-04-13]. http：//app.xinhua08.com/print.php？contentid=1699269.

[26]鲍金.消费正义：构建和谐社会的伦理基础[J].上海交通大学学报（哲学社会科学版），2011（1）：20-26.

[27][美]E.弗洛姆.逃避自由[M].陈学明，译.北京：工人出版社，1987：172.

[28]黄波.生产正义及其伦理原则[J].唐都学刊，2015（4）：19-23.

[29][JP2]毕金杰.马克思主义生产理论对生态环境的构建解析——基于生产正义视角[J].黄冈职业技术学院学报，2017（2）：39-42.

[30][JP2]工信部.促进新一代人工智能产业发展三年行动计划（2018-2020年）[EB/OL].http：//www.miit.gov.cn/n1146285/n1146352/n3054355/n3057497/n3057498/c5960779/content.html.

[31][美]罗斯科·庞德.通过法律的社会控制[M].沈宗灵，译.北京：商务印书館，2010：13.

[32]刘彤.发展水平抗辩的制度构建与消费者保护的协调[J].北京联合大学学报（人文社会科学版），2017（1）：48-56.

[33]司晓，曹建峰.论人工智能的民事责任：以自动驾驶汽车和智能机器人为切入点[J].法律科学（西北政法大学学报），2017（5）：166-173.

[34]梁鹏.人工智能产品侵权的责任承担[J].中国青年社会科学，2018（4）：11-14.

[35]习近平.习近平谈治国理政[M].北京：外文出版社，2014：120.

Research on Riskprevention of Artificial Intelligence Products from the Perspective of Corporate Social Responsibility

Hu Yuancong，Li Yuyi

（School of Economics and Law， Southwest University of Political Science and Law， Chongqing 401120， China）

Abstract： In recent years， domestic Artificial Intelligence products have been emerging， attracting a large number of consumers. However， conflicts between the technological risks of Artificial Intelligence and the hysteretic laws and regulations have comprehensively challenged the riskprevention system of Artificial Intelligence products. When faced with the realistic risks of Artificial Intelligence products such as violation of ethics， introduction of unreasonable consumption， and damage to psychic security and so on， it is suggested to decrease the risks from the internal logic and requirements of the Corporate Social Responsibilities. The following measures are necessary： properly optimize the rights and obligations of Artificial Intelligence corporations and consumers;  specify the social responsibility of Artificial Intelligence corporations in the research & development of new products and the management of defective products; reform and innovate the riskprevention system of Artificial Intelligence products.

Key words： Corporate Social Responsibility; Artificial Intelligence product; riskprevention; development risk