王楠

摘 要：文章以无人驾驶技术为例，提出机器模仿伦理性决策时的三个层次的风险，第一个层次为人-机关系风险，第二个层次为人-机-第三方关系风险，第三个层次为人-机-社会价值体系风险，同时对风险应对的进路进行梳理，从研发与研发管制、法律制度、国际协调机制三个方面进行说明。

关键词：伦理与道德；人工智能；决策

中图分类号：U463 文献标志码：A 文章编号：2095-2945（2018）32-0016-03

Abstract： Taking unmanned driving technology as an example， this paper puts forward three levels of risks in ethical decision making of machine imitation： the first level is the risk of man-machine relationship， and the second level is the risk of human-machine-third party relationship. The third level of human-machine-social value system risk， at the same time to sort out the approach to the risk response， from the R&D; and R&D; control， legal system， international coordination mechanism three aspects.

Keywords： ethics and morality； artificial intelligence； decision making

1 異于传统技术工程伦理的人工智能伦理

2017年见证了人工智能（AI）开发应用的极速成长，如果仅仅将AI视为人类技术环境中的一项正在崛起的构成要素，与人类文明进程中的各项技术要素具有相同属性的话，结合对技术史的简单回顾，或将初步认为AI的形成、发展与应用是历史的必然：自19世纪中后叶电气技术革命开启的系统自动化的探索历经百年积累，与计算科学等相关学科不断演进、互动，从计算机的诞生到互联网通信技术的全球普及，由云计算、大数据至今日AI日臻稳健成熟，不断更迭的智能算法、对无法想象的量级数据的超速处理能力正以一种前所未有的方式驱动AI在全球各个行业的应用与布局。

致力于AI与Robotics技术市场咨询的Tractica预测：由AI直接或间接应用带来的全球市场收益将由2016年的14亿美元急剧增长为2025年的368亿美元，其门户网站亦发布215项AI用例描述，横跨政府公共部门与私营部门，涉及ICT、交通运输、医疗诊断与护理、金融市场预测、消费品市场、新闻传媒、能源与制造业，甚至SNS领域（social bots）。

伴随“弱”人工智能的普遍使用与“强”人工智能的进一步开发，智能机器系统（intelligent machine systems）无疑将成为第四次科技革命的主要动能之一，但这不是故事的全部，沿用社会学家Merton教授的观点，科学是一种社会建制，是社会的子系统，与政治、经济、文化、社会、法律处于互动过程中，面对AI用例的拓展与应用，人类文明的生产、工作、生活方式将被“重塑”，人类生存与发展质量被迅速提高的同时，其带有危险性的另一面已投射下无法忽视的阴影，人机关系（human-machine relations）复杂性的发展速度超出我们想象，此时对AI伦理性思考的迫切程度是空前的，人们必须同时掌握AI作为颠覆性技术对人类社会文化价值体系、伦理道德规范的冲击，人机关系的持续发展与变化有无可能反向侵蚀伦理道德体系？ 能否在研发环节运用强大的算法将AI潜在的非道德行为风险最小化？

需要注意到，AI的伦理性探讨超越传统技术工程伦理的共性范围，基于以下原因：第一，有研究将纳米技术、生物技术、合成生物与机器人归并为科技社会发展的新范畴，与之关联的已有科学技术学科边界变得不再清晰，这一点不仅体现在技术的研发、设计本身，伦理性评价亦呈现前所未有的复杂性与跨学科特征；第二，人工智能不断将物理世界和个人的界限模糊化，延伸出复杂的伦理、法律和安全问题。

假设对AI的伦理性探讨有以下三种态度：第一，认为AI技术本身尚未成熟，与其相关的伦理性话题多见诸科幻作品，应将注意力用于技术突破方面；第二，基于学术界对AI风险分时期的判断，将目光锁定远期风险，如AI异化和对人类社会的反噬；第三，目前最为棘手的问题是已经部署并应用与生产生活的AI系统潜藏的真实风险，不应立即被“未来”担忧稀释对近期问题的关注。

本文持有第三种态度，AI用例的应用的深入已将人类个体、机器与社会间的交互关系变得更复杂，不止于技术变革，这些前所未有的变化或将带来持续动态的社会变迁，虽同样涉及故障率、系统安全、失业风险等方面，异于传统技术工程伦理的人工智能伦理呈现更多维度。

2 无人驾驶技术的伦理性风险

哈佛大学的研究机构Berkman Klein Center将自动驾驶作为三项核心AI用例之一进行伦理与法律框架探讨，认为最常见、发生最频繁的人机互动是驾驶者-驾驶工具构成的自动化系统。

从Beneficial AI的角度衡量无人驾驶，其技术可行性达成的条件为：无人驾驶系统在非干预的情况下不存在失灵风险；系统对道路状况的自动判断的准确性、反应速度、敏捷程度和对不确定性的抵御能力均高于具有高超驾驶技能的人类驾驶者；面对道德困境（moral dilemma），能够做出符合人类社会伦理规范（codes of ethics）的决策。

由此推导出无人驾驶技术的伦理风险：

（1）人-机交互-机器故障或系统出错。2016年5月，美国佛罗里达州，Joshua Brown在驾驶特斯拉Model S时发生车祸身亡。当时，他的Model S在Autopilot模式下与一辆卡车相撞。这起事故引发了对自动驾驶系统安全的质疑。美国交通安全委员会（NTSB）发布了500页的调查结果。报告指出，在这段37分钟的行程中，Brown被要求手握方向盘。然而，他只在25秒的时间里这样做，从官方调查结果来看，事故责任更多指向未接受系统安全提示的Brown本人。但据其他渠道信息显示，Brown驾驶的Model S使用的是可见光感摄像机获取道路图像，通过后台计算机系统做出实时路况判断，而与其相撞的卡车恰好为白色，混合进明媚的弗罗里达州道路环境的背景色调，导致系统未能识别，这与官方调查结果相异。对于事故的成因我们暂不深究，但需要格外警醒，虽处于萌芽阶段，无人驾驶技术进入公共道路体系后究竟该如何制定与之匹配的事故责任划分制度（Accident Liability Regime），如何以Beneficial AI为导向通过无人駕驶技术有效降低人控驾驶行为的事故率，如何在全新的道路交通驾驶技术环境下做出理性的伦理与法律制度调整与补充。

（2）人-机-第三方相互作用-道德困境时的抉择。与人类驾驶者面临的道德困境相似，自动控制软件面临“生死”难题时如何决策成为Robo-Ethics领域广泛争论的问题，科技伦理学者往往选用经典的思想实验-电车难题（Trolley Problem），并引入权变变量使决策情境适度复杂化（Belay， 2015；Gogoll & Muller， 2017；Sparrow & Howard， 2017），例如在两侧轨道无法知晓来袭电车的1人与5人（此时假设1人与5人是无差异的同质性个体）的基础上，将受威胁个体特征纳入考虑，如一侧的1人为儿童，又如出现动物的情形，有时将该问题演化为“隧道”难题，依然将决策内容设计为“生”或“死”的困境。有关“电车难题”的伦理学争论大大量文献有时被称为“trolleyology”（“电车难题学”）。（Gogoll & Muller 2017）

争论的哲学根源往往在于Kantian Ethics（康德伦理学）的 Deontology（义务论）考虑与Utilitarianism（效用主义或功利主义）考虑的差异，二者存在竞争关系。以义务论的透镜来看，个体的任何决策与行动不以所处情况的变化而转移，一切以是否符合道德要求作为决策依据，康德认为人是目的性存在。“你的行动，要把你自己人身中的人性，和其他人身中人性，在任何时候都看作是目的，永远不能只看作是手段。”“每个有理性的东西都须服从这样的规律，不论是谁在任何时候都不应把自己和他人仅仅当作工具，而应该永远看作自身就是目的。”面对“电车难题”，义务论者会认为无论如何选择，均会导致剥夺生命的情况出现，这是义务论者无法接受的，但此时若选择不采取任何行动，一定程度演化为“间接杀人”。以功利主义的透镜来看，个体面对道德困境时的行动依据在于对备择决策（alternative decision）的损益分析，以此优化效用值，此时功利主义者将生命“换算为效用值”，对生命价值进行比较，这一点与道德哲学中的前者，即义务论的观点完全背离。

不同价值立场的人将作出不同选择，当无人驾驶汽车的自动化系统作为决策主体时，它的价值判断一定程度体现程序设计者的价值选择，此时的矛盾超出human-prioritizing（优先人类）的程序设计原则能够掌控的范围，程序设计者需要首先将“义务论”与“功利主义”两种取向发展互动的动态特征嵌入编程本身。

有研究者认为“电车难题”在无人驾驶情境下的伦理困境不仅仅涉及哲学争议，心理学亦占据一席之地，例如个体认知、感知、情感、情绪等变量在道德性决策中的作用。对意识的模仿属于“强”人工智能技术范畴，本文认为机器无法替代人的主体性，算法无法使其具备生物性特征。

（3）人-机-社会价值体系相互作用-同质化风险。对无人驾驶伦理风险的考量并未止步于对故障率与“电车难题”的思辨，从技术实现的角度考虑，无论无人驾驶系统做出何种决策，它仅仅是在模仿人脑的决策过程，模仿由算法来实现，算法能否体现优先人类福祉的原则与社会普遍的价值取向和行为规范？即便能够在算法开发中找到并体现合理的社会价值共识，这种被动的价值趋同（value convergence）可能引发宏观层面的困境：第一，预先嵌入的、程序化的伦理观念可能使人的价值判断和生活理念趋于同质化和平整化；第二，对现行主流社会道德价值体系的颠覆性冲击。

3 风险应对进路

3.1 研发与研发管制

对无人驾驶技术而言，设计者无法保证在紧急突发情况下，自动控制系统能百分之百做到在伦理上“对”的选择，而且不受使用者干预。Baruch指出无人驾驶在保障安全这一技术环节上亟待突破，在出现单点失误（singlepoint failure）之时，系统仍可以同步调查其他关键信息流，并隔离该失误，完成AI重新配置的过程，直至得到修理，Baruch认为有了这一技术保障，Brown也许不会死，他驾驶的Model S也许会慢慢停下来，仅仅因为传感系统出现单点失误。另一问题在于，引擎制造商是否需要像飞行棋引擎制造商那样实时监测所有出厂引擎的表现，提供在线服务。

从研发管制的角度讲，政府作为关键的利益相关人（stakeholder）需要对行业技术标准和最佳实践找寻方面进行管制，并在此过程中采用多边对话的机制，将伦理学者、风投方、设计商、软件工程师、制造商、行销商、消费者、公民社会组织等纳入对话，构建AI Partnership。

一些非政府组织已有所作为，2017年“生命未来研究所”通过产学研联合方式制定的“阿西洛马人工智能原则” 拓展了阿西莫夫“机器人三原则”，列出了23条准则，包括科研问题、伦理价值和长期问题。

3.2 法律制度

作為对无人驾驶技术伦理风险的回应，很多研究呼吁有针对性的法律调整与补充，最终通过立法来正式化。Gogoll & Muller （2017）认为在比较mandatory ethics setting（MES）与personal ethics settings（PES）之后，应选择更为强制性的伦理预设，因为PES会进一步陷入囚徒困境，将MES制度化的需求亦在于相应法律制度的形成。Belay（2015）基于无人驾驶技术情境下商业相关者（制造商、使用者、保险业者）的责任探讨，提出具有实践启发的立法框架（legislation framework），指出不应与现行的侵权法（tort law）有明显背离，这一点可以通过采取在伦理上处于中立的“自我保全”的设计出发点来实现，同时加入“reasonableness standards”调整消费者对技术的过高期待。

3.3 国际协调机制

IEEE已发布《以伦理为基准的设计指南》，从体现人权、优先人类福祉和自然环境、削弱人工智能风险和负面影响为出发点，发展为人类利益、责任、透明、教育和意识的四个基本原则，在实现路径方面，提出三阶段的实践过程：第一，将伦理规则嵌入AI系统识别特定的规范和价值；第二，嵌入AI系统；第三，评估与现有人类规范价值的一致性和兼容性，将从AI国际技术标准研制的角度对研发、生产、市场化行为进行约束。

技术的可流动性是目前全球化过程中的重要特征，当我们加入“跨国”这个权变因素时，对无人驾驶技术伦理风险的考量将变得更为复杂，必须考虑不同国别背景下的文化价值体系对无人驾驶技术的隐性的伦理审视：AI技术的扩散会对财富不平等起到修补作用（affirmative actions）还是说它不仅没有再分配的性质，甚至会在原有基础上增加不平等的程度？这一问题不是AI独有的跨国伦理问题，是所有技术全球化都必须考虑的，进而要求国际组织，如WTO、ILO等开启对话机制，尽可能减少无人驾驶技术等AI领域发展初期可能引起的不平等。

参考文献：

[1]齐昆鹏.2017人工智能：技术、伦理与法律研讨会在京召开[J].科学与社会，2017，7（2）.

[2]谢惠媛.民用无人驾驶技术的伦理反思——以无人驾驶汽车为例[J].自然辩证法研究，2017，33（9）.

[3]Baruch，J.（2016） Steer Driverless Cars Towards Full Automation[J]. Nature， 2016，536：127.

[4]Belay，N.（2015）Robot Ethics and Self-Driving Cars： How Ethical Determinations in Software Will Require a New legal Framework[J].The Journal of the Legal Profession，2015，40：199-130.

[5]Crawford，K.&Calo;，R.（2016） There is a Blind Spot in AI Research[J].Nature， 2016，538：311-313.

[6]Funk，M.（2016） Patrick Lin， Keith Abney， and George A. Bekey （eds.）： Robot Ethics： The Ethical and Social Implications of Robotics[J].Ethical Theory & Moral Practice， 2016，19：547-548.

[7]Gogoll，J.&Muller;，J.F. （2017） Autonomous Cars： In Favor of a Mandatory Ethics Setting[J]. Sci Eng Ethics，2017，23：681-700.

[8]https：//www.tractica.com/research/artificial-intelligence-use-cases/

[9]https：//cyber.harvard.edu/research/ai/usecases

[10]http：//auto.163.com/17/0620/15/CNCQGH3C000884NK.html

[11]http：//www.ctoutiao.com/129735.html

[12]Sparrow，R. & Howard，M.（2017） When Human Beings are like Drunk Robots： Driverless Vehicles， Ethics， and the Future of Transport[J].Transportation Research Part C 80， 2017：206-215.