人工智能教育应用的伦理风险及其应对研究

2022-03-11高山冰杨丹

高教探索 2022年1期

高山冰杨丹

摘要：人工智能教育应用的伦理议题主要包括教育大数据引发的隐私安全问题、智能机器对人类教师职业造成的威胁、个性化学习算法存在的伦理冲突、教育领域数字鸿沟带来的伦理危机、智能教育发展对社会美德的冲击等多方面的伦理问题。究其成因，与技术主体的职业素养“失守”、伦理自主性受限，用户技术崇拜、能动性丧失以及社会层面的监管不力、伦理规范缺失等关联密切。人工智能教育应用要构建伦理规范体系，完善问责体制，健全算法审查及数据监管机制以及建构以人为本的伦理共识。

关键词：人工智能;智能教育;伦理;算法近年来，各国纷纷将发展人工智能作为提升国家竞争力、维护国家安全的重要战略。我国也制定了多项人工智能发展战略，快速推进人工智能技术与社会经济各个领域的深度融合。教育是人工智能应用的一个重要领域，人工智能教育的发展潜力，吸引了大批互联网企业、科技公司入局，产生了多种智能教育应用形式和大量的应用案例。与此同时，人工智能教育应用由于缺乏有效的技术标准与“强制性”法律手段加以规约，引发的伦理争议严重制约了行业发展。

一、文献综述

Holmes等[1]学者在2018年人工智能教育应用（AIED）研討会上指出，目前有关研究、开发和部署在本质上仍是在道德真空的环境下进行的，几乎还未形成任何方针、政策、法规来解决在教育领域应用“AI”所引发的特定伦理问题，提出了建构人工智能教育应用伦理规制的现实需求。苏明等（2019）[2]基于马克思主义技术批判和人的全面发展理论，对人工智能教育应用进行价值审视、公平性审视、人性审视、责任审视和终极目标的审视，提出要警惕人工智能可能产生的异化作用，促进人工智能教育应用的良性发展。Morley等（2020）[3]梳理了人工智能伦理争论的演变，认为如今围绕人工智能的道德辩论主要集中在人工智能的伦理原则是“什么”上，并提出人们的伦理风险意识和缓解相关风险的能力明显脱节，应在AI产品设计开发的各个方面应用道德规范。Berendt等（2020）[4]认为，人工智能的教育应用不仅会影响数据保护和隐私，还会影响公民的基本权力。鉴于AI的全球影响力，应该在跨国级别对其进行监管，由联合国等全球组织来承担这一角色。

围绕教育公平和人类教师能否被代替议题，Hilbert（2016）[5]认为人工智能可能是一种破坏性的技术，会加剧现有的不平等和分歧，导致新的数字鸿沟。刘盾等（2019）[6]从哲学与伦理的视角，对人工智能对教育的冲击与颠覆展开分析，指出人工智能的教育应用可能导致人与教育分离、科技依赖、职业危机等伦理问题。Cope等（2020）[7]通过分析机器智能的本质及其教育应用的局限性和潜力，认为人工智能的工作原理和作用始终与人类智慧有很大不同，它将永远不会“代替”教师的角色。Tan（2020）[8]探讨了数字教师能否在精神教育中替代人类教师的问题，认为数字教师能作为“人工智能伙伴”在传播知识和技能方面发挥作用，但在作为学生的道德精神指导者和行为榜样方面则无能为力。

在具体应用层面，Floridi等（2018）[9]认为利用AIDA数据分析技术对发展适应性学习有重要作用，但在数据收集、使用，算法设计、应用的过程中都可能会面临伦理难题。Annabel Latham等（2019）[10]为研究人工智能教育应用伦理提供了受众视角。何亿宁等（2019）[11]对人工智能课程与伦理道德教育的融合进行了探讨，指出应当适当地加入道德教育的元素，均衡其固有的技术性偏向。Perrotta等（2020）[12]质疑机器学习能否用于教育，通过对智能辅导系统和“深度学习”算法预测教育表现案例的分析，认为用此类算法处理教育数据有诸多不合理性。

人工智能应用于教育存在一定的伦理风险已成共识，不过多数对人工智能教育应用伦理问题的讨论包含在以智能教育发展或具体的教育应用场景分析为主题的研究之中，总体上还停留在抽象价值的提取和共识构建阶段。全面、系统地审视人工智能教育应用的伦理问题，有助于促进其高质量发展。

二、人工智能教育应用伦理风险

（一）过度资源依赖潜藏伦理危机

1.教育目标发生偏移。纵观技术的发展历程，科学技术的进步实现了人对自然的有效控制，然而人在肯定技术价值、消费技术所带来的物质资料的过程中，却失去了批判精神和否定意识[13]，人工智能教育应用亦是如此。教育对人工智能技术的一味追逐，可能导致教育教学的核心发生偏移。一方面，多元化的教学资源，满足了学生的个性化学习需求，但使得传统的教师和学生的二元关系，变成了教师、产品、学生的三元关系，进一步拉开了师生之间的心理距离。另一方面，人被量化、标签化的现象普遍存在，用数据来描述人的特性，有将教育标准片面化、教育过程流水线化的嫌疑。过度追求数据层面人的成长，会出现技术对教育的控制和垄断。

·教育基本理论·人工智能教育应用的伦理风险及其应对研究2.理性工具化的泥淖。技术体现了主导性的思考和行为模式，是控制和支配的工具。[14]技术的发展造就了一个自成体系的机器世界，人们也就越来越根据实证科学的思维方式来调整自己的行为与价值理念，理性越来越工具化了。[15]人工智能为教育带来了诸多变化和美好预期。然而，人工智能让机器越来越像人，教育却让人变得越来越像机器，这样的教育最终结果是让学生被迫记住一大堆对付考试要用的东西，却逐渐丧失了学习能力、创新能力。[16]学生不再运用大脑（以及认知、感知和注意）理解教学内容，这与教育的本质和追求背道而驰。从教育者采用智能应用开始，技术就在“筹谋”反客为主之道，由服务者变成控制者，从技术融入教育，到教育者过度依赖技术，理性越来越工具化，最终落入被技术掌控的“泥淖”。

（二）教育大数据引发信息安全问题

大数据、深度学习等关键信息技术的突破和成熟，引发了第三次人工智能浪潮。与大数据技术相关的在数据采集、存储和使用中面临的隐私泄露、信息安全问题，与深度学习算法有关的算法黑箱、歧视问题等，也顺延到了人工智能应用的各个领域，教育应用也不例外。

1.隐私边界更加模糊。大数据时代，隐私的边界越发模糊，各类数据都可能被挖掘、预测甚至监控，人在网络空间越发“透明”。2019年初，西南地区十余所中小学试水智能校服，在网络上引发了对此类智能产品是否侵犯未成年人隐私权的热议。这些敏感数据的收集、存储、使用、监管等全然由智能教育科技公司自主进行，因而外界对“收集敏感数据如何使用”“监测设备是否会影响使用者的身心健康”等问题的质疑之声也未断绝。随着在线教育用户规模的快速增长，各类教育App过度收集用户信息的现象屡禁不止，教育平台泄露用户信息的事件时有发生，引发了社会对个人隐私和智能教育应用的担忧。

2.数据安全难以保障。大数据、机器学习、深度学习等技术的协同探索，为用户“个性化学习”提供了实现的可能。但是，数据收集标准不统一、处理规范不完善带来严重影响了人工智能教育应用的有序发展。因服务器安全措施不到位、防火墙漏洞等导致用户信息泄露的事件时有发生。人工智能技术给非法入侵者提供了“过墙梯”的资源，对用户的数据安全造成严重威胁。

（三）个性化学习算法潜存伦理风险

算法是人工智能的“灵魂”，但由于算法本身的复杂性以及技术公司的排他性商业政策等，“算法黑箱”普遍存在且很难被打破。此外，数据的中立性、客观性难以保证，算法存在诸多固有偏见，可能导致一系列的负面影响。

1.算法的不透明性忽视了人的知情权。以深度学习和神经网络为代表的人工智能，是数据驱动的不确定性智能。其不确定性主要体现在算法并不能完全为其主导者和设计者所左右。[17]人工智能教育应用中的个性化推荐算法可以描述成一个未知的“黑箱”，算法以用户的各方面数据为基础发挥作用，为用户量身定制个性化学习服务。用户却几乎无从获悉算法的设计者、持有者[18]，对推荐个性化学习内容的生成方式更是一无所知。利用不可解释的个性化学习推荐算法，对海量的教育数据进行分析，最终生成的结果是否合理，能否用于指导学生的成长发展，争议颇多。即便数据透明，对人的隐私保护、知情同意、信息安全是否一定是正向影响，也很难确定。

2.个性化推荐算法限制了人的选择权。机器学习算法是基于社会整体“大数据集”而形成“规则集”并应用于具体场景的过程，暗含着以整体特征推断个体行为的逻辑。[19]算法本身并非是绝对客观、無情感偏向的，算法的设计无一例外都是为了实现一定的目的，其中或明或暗地渗透着主导者的意图与能动性。推荐算法自主运行输出个性化学习方案这一过程，在某种意义上，收束了用户的自主选择权，可能对用户的成长发展产生负面的影响。如今，个性化学习、个性化辅导、个性化学习计划定制已成智能教育的“标配”。然而，利用智能教育应用的推荐算法生成的个性化学习课程，是用户需要的“因材施教”的“良境”，还是选择受限的“信息茧房”的“困境”，尚难定论。

（四）数字鸿沟困境与教师职业威胁

1.数字鸿沟的困境。有学者指出，以慕课为代表的在线教育确实为部分弱势群体、教育贫困群体带来了获取优质资源的契机，但它从接触率到有效使用率都偏向在经济条件、设备基础、知识储备等方面更具优势的群体，这可能会助长而不是削弱已有的教育不公平问题。[20]此外，人工智能教育应用一直被寄望于对特殊人群有所帮助，对其生理缺陷有所“补足”，但实际上这些人群几乎被排除在人工智能教育应用的用户之外。这与其媒介使用情况、智能设备持有率、特殊用途教育应用的市场有限性等外部条件不无关系，无形之中扩大了“数字鸿沟”。

2.对教师职业的威胁。人工智能终将迈入新的发展阶段，智能机器带来的职业威胁并非妄言。如今，人工智能教育应用已经远超了普雷希和斯金纳时代教学机器的意义，它不仅涉及教学环节中的某种工具或具体技术问题，而且包含了对人类教育任务的根本挑战。虽然现阶段的人工智能教师还不能完全发挥人类教师的作用，它在智能问答、信息储备、处理重复工作等方面所具有的优势，尚不能均衡它在情绪感知、精神引领方面的乏力。但随着智能程度的提升，两者之间势必将暴露出更多的伦理冲突。

三、人工智能教育应用伦理风险根源剖析

（一）技术主体的失范

由于应用开发者，即技术主体的伦理行为有个体型技术主体的伦理行为和组织型技术主体的伦理行为，所以可以将技术主体的行为失范分为个体型技术主体的行为失范和组织型技术主体的行为失范。[21]

1.职业素养“失守”。古人讲“三不朽”：立德、立功、立言。即便此后更高形式的机器智能能达到立功和立言的结果，立德也永远不会被取代。[22]然而事实证明，经济因素、政治因素、社会因素等外在条件能轻易越过技术主体的职业道德“屏障”，导致伦理失范行为。技术“中性”论认为，技术本身无所谓善恶，它无非是中性的工具和手段，技术产生什么影响，服务于什么目的，不是技术本身所固有的，而取决于人用技术来做什么。[23]所以，技术实施者自身的道德素养“失守”，以经济等原因作为智能应用开发的首要考虑因素，是导致此类伦理问题的主要原因。

2.伦理自主性受限。伦理自主性是指技术主体在开展技术活动的过程中，能动地进行行为判断和道德选择，并自主承担相应的伦理后果的特性。技术主体这个角色本身有一定的矛盾性。他一方面受雇于企业，是技术活动的实施者、企业利益的生产者和企业发展的获益者。需要遵循相应的企业规范，完成上级管理者分配的工作任务，参与以公司利益为主导的技术开发等。另一方面，技术主体作为社会公民，有遵守社会道德规范。其在实施技术行为的过程中有坚持伦理自主性，甚至在冲突发生时与企业利益进行协商的必要。在现实生活中，当技术主体的伦理自主性被上级管理者或更高层面的利益所抑制，技术主体应有的职责操守往往会做出退让和妥协。人工智能发展到现在，其与教育融合引发的伦理问题虽然有部分可以用传统的伦理原则来审视，但更多的问题是全新的，需要新的行业规范从根本上提升技术行为实施者的伦理意识和道德素养。

（二）技术拜物教的桎梏

人工智能在教育领域的应用使得传统的教育伦理从关注教育公平、教师素养、职业道德，拓展到对教育者的智能技术使用行为，受教育者被侵权，教育者、受教育者、智能机器三者之间关系的讨论，技术在这一过程中有着重要的影响。

技术是人创造的、服务于人、内在于人生命的。而在现代社会它却反过来控制人、支配人、统治人。技术的巨大功能使人们产生了“技术无所不能”的神秘感，让人在心理上形成了类似宗教崇拜的知觉状态，这是现代技术社会特有的技术拜物教现象。[24]人工智能技术作为一门前沿科学技术，有带动生产力整体跃升的巨大潜力，现代生产和消费的需要决定了人工智能是“拜物教”的现代形式。人工智能技术为教育者提供了新的教育教学途径，也使这些新的应用处于一种不确定的状态，教育者面对人工智能教育应用极易处于“手握一把锤子”的状态，无论有无必要都在教育过程中使用人工智能技术。如此一来，容易陷入过于依赖人工智能对学习者学习活动的反馈评价，而丧失教师自身的主体能动性的局面。另外，人工智能教育产品的生产成本较高，且尚无系统的法律法规制约，发展状况参差不齐。由此带来的新数字鸿沟问题已经引发了社会的广泛热议。此外，如果教育者的教学设计需要学习者配备相应的智能产品，则极易导致有关教育者素养甚至教育伦理的争议。

（三）监管与规制的缺失

在人工智能教育应用的发展过程中，一方面是学界和业界对人工智能教育应用前景的美好预期和积极探索;另一方面，在实际的融合过程中，智能应用迅速增多，企业竞争加剧，而规范人工智能教育应用的行业规范、法律法规却不完善等问题仍然十分突出。

1.智能教育应用监管不力。人工智能教育应用的监督主要涉及两个主体，一个是国家强制力量;另一个是以媒体监督为主的社会监督力量。近几年，我国虽然在人工智能伦理准则设计、智能应用整治等方面取得了一些成果，但与人工智能相关的立法工作的推进较为缓慢，与打击智能应用侵权相匹配的法律法规尚不完善，威慑力不足。另外，媒体对人工智能教育应用的报道仍是以“紧追时效”为主，什么应用热度高就报道什么，鲜有事关人工智能教育应用伦理问题长期的、系列深度报道。在某种程度上反映出媒体在人工智能教育应用的伦理风险监督中的缺位和力度不足。

2.伦理规制的滞后。人工智能教育应用作为如今的热门发展领域，一方面，企业逐渐拓宽人工智能技术在教育领域的应用范畴，不断推出新的智能教育应用产品。另一方面，行业发展速度远高于行業规范、法律法规的更新速度，各企业实则处在“自由生长”的无序发展状况之中。有学者指出，对信息技术在隐私方面的规范通常是无效的，因为持续变化的技术和技术实践活动使得各种规范很快过时。相对于技术“日新月异”的发展速度，伦理规范的发展的确要缓慢的多，这从客观上造成了人工智能教育应用的伦理规制缺失问题。

四、人工智能教育应用伦理问题的应对

1.构建智能教育应用的伦理规范体系

人工智能教育应用既不能做出有违信息伦理或信息法律的行为和结果，也不能做出有违教育伦理或教育规律的行为和结果。[25]有必要加强智能教育应用顶层规划设计，在遵循人工智能、大数据等技术的一般标准规范的前提下，结合教育业务的实际特点，制定智能教育伦理标准和管理规范。推动技术活动主体伦理意识和伦理素养的养成，坚持“善”的技术活动出发点。进一步通过社会广泛认可的道德准则的约束，舆论的引导和监督，以及法律规范等强制力量的保障，确保智能教育应用生态健康、有序发展。

2.完善智能教育应用的问责体制

人工智能教育应用过程中如果数据有误、算法不合宜或者用户操作不当，就可能导致反向的效果。事故发生后，设计者、开发方、使用方或用户各自该承担怎样的责任，需要有明确的追责问责机制。此外，明确的问责机制需要建立在系统透明的基础上，即应该建立完整的数据跟踪记录方案，保持系统算法和决策推理过程的透明，以便在任何情况下均可以快速找出责任主体。

3.健全智能教育算法审查及数据监管机制

首先，智能教育应用要注重算法公平。要拆除算法的“黑箱”，将其内在逻辑明确化，避免可能存在的伦理风险。要警惕程序设计者将自身偏见带入算法设计过程中导致的歧视现象等问题。其次，避免滥用大数据分析等技术手段，侵犯用户合法权益的行为。要严格保证用户信息安全，对收集的信息如何存储、作何使用能给出合理的解释。第三，人工智能教育应用应当实现教育公平，而不是扩大现有的“数字鸿沟”。要避免应用设计、开发过程中可能存在的偏见和歧视，同时也要加强监管，审慎判定其在使用中是否有产生偏见和歧视的可能。

4.建构以人为本的伦理共识

人工智能应用于教育应当产生改善现有教学环境的效果，而非打破已有的教学平衡。于教育者而言，智能应用能够扮演强大的助力角色，协助其处理琐碎重复的日常工作，准确的反应学生的学习状况;于受教育者而言，智能应用能够使其更好地理解学习的内容，针对性地推荐个人学习内容，自动提供作业反馈等，使教学活动的各方参与者利益最大化。人工智能发挥的是“赋能”教育、助力人的培养的功能，始终保有对人的自我实现的关注，体现出人工智能教育应用对提高整体教育水平，促进人的全面发展等更高层次社会发展进步的关怀。

五、结语

人工智能技术与教育的融合，在提升教学效果、提高管理效率、促进教育资源合理分配等方面都将产生积极的影响。但技术的普及和应用与已有的社会文化制度体系总存在着一定的张力、矛盾。数字鸿沟在不断地扩大，教育资源配置仍呈现马太效应。[26]同时，人工智能教育应用涉及教育学、计算机科学等学科，其伦理争议既与这些学科原有的伦理问题有关，又有融合带来的新问题。首先，人工智能是科学技术发展的前沿领域，技术伦理、计算机伦理等相关伦理问题在人工智能教育应用的伦理议题中都有所体现;其次，人工智能浪潮的到来，受益于深度学习、机器学习、情感计算等关键技术的突破，尤其是大数据技术的形成和发展。在大数据采集、处理、分析、挖掘的过程中面临的伦理问题同样是智能应用需要关注的伦理难题;第三，人工智能技术在教育中的应用，使得技术所主导的思维、过程、理念等逐渐融入教育体系的方方面面，拓展了传统教育的内涵，为“因材施教”“有教无类”等教育理念提供了实现的可能，也为教育伦理增添了新的内容。

目前，国内相关部门已将研制人工智能教育应用的伦理法规提上日程，教育信息化技术标准委员会也在考虑制定“智慧校园”“智慧教室”等教育应用的国家标准，以期为人工智能教育应用创造一个健康规范的发展环境。虽然伦理规制的发展往往滞后于技术，但仍然需要规范制定者和执行者。人工智能本身的伦理问题尚未得解，其应用于教育领域造成的新的挑战时则更需审慎应对。在人工智能技术与教育融合发展的过程中，如何有效地趋利避害，挖掘技术的正向作用，避免负面影响，制定人工智能教育应用的伦理框架至关重要。[27]

参考文献：

[1]HOLMES W，BEKTIK D，WOOLF B，etal.Ethicsin AIED：Who Cares？[R].20th International Conference on Artificial Intelligence in Education，Chicago，IL，JUN 25-29，2019.

[2]蘇明，陈·巴特尔.人工智能教育伦理的多维审视：基于马克思技术批判和人的全面发展理论[J].西南民族大学学报（人文社科版），2019（11）：223-228.

[3]MORLEY J，FLORIDI L，KINSEY L，et al.From What to How：An Initial Review of Publicly Available AI Ethics Tools，Methods and Research to Translate Principles into Practices[J].Science and Engineering Ethics，2020（4）：2141-2168.

[4]BERENDT B，LITTLEJOHN A，BLAKEMORE M.AI in Education：Learner Choice and Fundamental Rights[J].Learning，Media and Technology，2020（3）：312-324.

[5]HILBERT M.Big Data for Development：A Review of Promises and Challenges[J].Development Policy Review，2016（1）：135-174.

[6]刘盾，刘健，徐东波.风险预测与忧患深思：人工智能对教育发展的冲击与变革：哲学与伦理的思考[J].高教探索，2019（7）：18-23.

[7]COPE B，KALANTZIS M，SEARSMITH D.Artificial Intelligence for Education：Knowledge and its Assessment in AI-enabled Learning Ecologies[J].Educational Philosophy and Theory，2020：1-17.

[8]TAN C.Digital Confucius？ Exploring the Implications of Artificial Intelligence in Spiritual Education[J].Connection Science，2020：1-12.

[9]FLORIDI L，COWLS J，BELTRAMETTI M，et al.AI4People—An Ethical Framework for a Good AI Society：Opportunities，Risks，Principles，and Recommendations[J].Minds and Machines，2018（4）：689-707.

[10]LATHAM A，GOLTZ S.A Survey of the General Public’s Views on the Ethics of Using AI in Education[C]//International Conference on Artificial Intelligence in Education.Springer，Cham，2019：194-206.

[11]何艺宁，商容轩，于游.高校人工智能课程与伦理道德教育融合探索[J].教育教学论坛，2019（41）：144-145.

[12]Perrotta C，Selwyn N.Deep Learning goes to School：Toward a Relational Understanding of AI in Education[J].Learning，Media and Technology，2020（3）：251-269.

[13]马丹，金吉华.当代设计教育中的技术乐观主义倾向与反思[J].教育理论与实践，2014（36）：17-19.

[14]Herbert Marcuse.Some Social Implications of Modern Technology[M].Routledge，1998：41.

[15]仰海峰.法兰克福学派工具理性批判的三大主题[J].南京大学学报（哲学·人文科学·社会科学版），2009（4）：26.

[16][22]伏彩瑞，关新，朱华勇，等.“人工智能与未来教育”笔谈（下）[J].华东师范大学学报（教育科学版），2017（5）：13-29.

[17]段伟文.数据智能的算法权力及其边界校勘[J].探索与争鸣，2018（10）：92.

[18]张淑玲.破解黑箱：智媒时代的算法权力规制与透明实现机制[J].中国出版，2018（7）：49-53.

[19]谭维智.人工智能教育应用的算法风险[J].开放教育研究，2019，25（6）：20-30.

[20]吴刚.从工具性思维到人工智能思维：教育技术的危机与教育技术学的转型[J].开放教育研究，2018（2）：51-59.

[21]芦文龙.技术主体的伦理行为：规范、失范及其应对[D].大连理工大学，2014.

[23]郭庆光.传播学概论[M].北京：中国人民大学出版社，1999：117.

[24]王华英.技术拜物教探析[J].理论界，2009（6）：101-103.

[25]张坤颖，张家年.人工智能教育应用与研究中的新区、误区、盲区与禁区[J].远程教育杂志，2017（5）：54-63.