石 颖

算法歧视是随着人工智能、大数据、算法技术等新兴技术的开发应用而出现的新型歧视类型。算法并非技术中立，它无法将人类社会固有的某些偏见与歧视完全排除在外。相反，这种根植在算法程序中的歧视，会带来比一般意义上的歧视更为严重的后果。受到算法歧视的群体会更普遍、更广泛，且难以被察觉。作为数字社会的主要抓手，算法除了为人们提高运行效率、减少决策成本以外，还增加了歧视风险，严重侵害了公民平等和非歧视的基本权利，带来了诸多社会和法律层面的挑战，需要我们予以应对。那么，算法歧视这种新型歧视类型的缘起是什么？算法歧视为社会现实和法律带来了哪些挑战？以及如何去应对这些挑战，实现算法歧视的法律治理？本文将对这些问题作以论述。

一、算法歧视问题的缘起

(一)算法与算法歧视的界定

算法是数学与计算机科学领域中的运算程序，是用以执行计算、处理数据，并进行自动推理的技术规范。现代算法主要来自计算机科学领域，二十世纪英国数学家图灵曾提出“图灵机”这一假想的计算机抽象模型，并运用算法作为该图灵机解决不同问题的各种不同程序。(1)See Turing A M.I.Computing Machinery and Intelligence,Mind, vol.59：236,(1950).随后则进一步发展成为人工智能领域下的机器学习算法，是一种能够通过设定相应的参数而使计算机自动生成并自动改进算法的程序。算法是凭借设计者或者开发者的主观创造，以代码的形式表达的一种设计者的需要，是大数据技术最重要的抓手之一，能够深度挖掘大数据中隐藏的有用信息，继而实现数据价值。算法和数据在机器学习的交互中，以“输出预测”作为设定目标的实现情况，“以当前的运行作为下一步指令的基础，根据实际的状态而不是规范的预期作为策略选择的依据。”(2)余成峰：《法律的“死亡”：人工智能时代的法律功能危机》，载《华东政法大学学报》2018年第2期。简单来说，算法即是一系列的指令或规则，是通过这些指令或规则来解决问题、实现目标的。算法更多体现的是一种基于统计学的随机性控制。从算法的运行来看，在建构起算法初始化模型之后，算法便会根据所输入的训练数据进行自主训练，之后则对验证数据进行验证，以检验算法的训练成果，从而完成算法训练，生成算法系统的模型。(3)参见孟令宇：《从算法偏见到算法歧视：算法歧视的责任问题探究》，载《东北大学学报(社会科学版)》2022年第1期。下图展示了算法模型的基本运行过程。

人工智能、大数据以及算法技术在当今时代得到了极大的发展，但是，随之而来的不仅仅是更便利的生产、生活与工作方式，还带来了更复杂的安全伦理挑战与法律治理难题。诸如歧视这种产生于人脑的思维意识即在这一过程中转化进机器算法，演化为算法歧视。歧视是建立在同种或类似情势下所作出的“不利对待”，然而其区别的依据并不是能力或贡献，而主要以性别、种族(民族)、基因携带状况、天资等“天赋资源”的区别为依据。算法歧视源于大数据歧视，是由于算法内部演算和数据分析所导致的对特定群体或个人的不公正对待，深度学习的算法具有“预测”的功能，这种预测功能在逻辑理路上类似于心理学上的“预判”，并且人们通常较难理解算法的运行原理，因此也极易将歧视夹带其中，形成算法歧视。算法歧视是一种自动化歧视(Automated Discrimination)(4)See Laura Carmichael，Sophie Stalla，Steffen Staab.Data Mining and Automated Discrimination：A Mixed Legal / Technical Perspective，IEEE Intelligent Systems , vol.31：6,(2016).，由于涉及人工智能、大数据等一系列新兴技术而变得难以判断，因此已经无法按照传统的性别、种族等特征要素来界定受歧视群体。而且算法决策系统是一个非常复杂的决策体系，算法的某一环节出现的失误往往会以隐蔽的方式呈现，因此人们较难察觉因算法而受到的不合理的区别对待，这种未知性也加剧了人们对人工智能、算法等新兴技术的不信任程度。(5)参见卜素：《人工智能中的“算法歧视”问题及其审查标准》，载《山西大学学报(哲学社会科学版)》2019年第4期。

(二)算法歧视的现实表现

实践中可以发现诸多涉及算法歧视的案件或事件，如2018年有媒体曝出滴滴网约车平台存在利用大数据杀熟客的行为，即在相同时段相同始发地，使用不同品牌、不同型号的手机进行约车时，会得到不同的报价。又如2019年发生的被称为“算法歧视第一案”的意大利户户送有限责任公司算法歧视案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v.Deliveroo Italia S.R.L.)，即由于意大利户户送有限责任公司使用的数字送餐平台系统对骑手实施了集体性的算法歧视，在对骑手进行荣誉排名时并未考虑骑手因合法合理原因而导致的未按预定的时间和配送区域进行送餐的情形，因此使骑手丧失了对工作条件优先选择的机会，而被判定构成算法歧视。(6)参见罗智敏：《算法歧视的司法审查——意大利户户送有限责任公司算法歧视案评析》，载《交大法学》2021年第2期。由此可见，算法自动化决策过程并非中立的，算法决策结果的输出会在实践中产生对特定群体不合理的区别对待。以算法歧视所产生的不同层级的危害为标准，可以将现实中的算法歧视划分为扰乱市场经济秩序的算法歧视、危害社会公平正义的算法歧视以及侵害公民平等权利的算法歧视三种类型。

1.扰乱市场经济秩序的算法歧视

交易中不合理的区别定价往往构成不正当定价，我国对于交易中的不正当价格行为已作出了相关立法规定，如《中华人民共和国反垄断法》第17条规定：“禁止具有市场支配地位的经营者从事下列滥用市场支配地位的行为：……(六)没有正当理由，对条件相同的交易相对人在交易价格等交易条件上实行差别待遇；……”(7)《中华人民共和国反垄断法》第17条第1款第6项。《中华人民共和国价格法》第14条规定：“经营者不得有下列不正当价格行为：……(五)提供相同商品或者服务，对具有同等交易条件的其他经营者实行价格歧视；……”(8)《中华人民共和国价格法》第14条。随着算法在商业领域中的广泛应用，算法平台逐渐具备了技术优势和市场优势，为了获得更高的商业利益而开始运用算法实施对消费者的价格歧视，将线下的价格歧视带至线上。即利用算法技术对不同消费者的支付能力和支付意愿进行评估后做出区别定价的销售策略，从而形成算法价格歧视。算法价格歧视进一步扩大了线下价格歧视的影响力，严重违反了“明码实价”的传统商业道德标准，改变了竞争博弈的基本规则和市场运行的基本结构，扰乱了市场经济秩序，未能充分尊重和平等保护消费者的合法权益。对此，《中华人民共和国电子商务法》第18条第1款规定：“电子商务经营者根据消费者的兴趣爱好、消费习惯等特征向其提供商品或者服务的搜索结果的，应当同时向该消费者提供不针对其个人特征的选项，尊重和平等保护消费者合法权益。”(9)《中华人民共和国电子商务法》第18条第1款。以维护市场经济秩序，保护消费者合法权益。

2.危害社会公平正义的算法歧视

算法歧视的出现，往往是算法在面对公平和效率的选择时，选择了效率而忽视了公平。当前社会，算法自动化决策涉及的领域已经非常广泛，不仅应用在房屋租赁、融资信贷、保险、招聘筛选等商业领域中，还应用在公共政策的制定和执行以及司法领域中。在这些领域中一旦使用了歧视性的数据或做出了歧视性的算法设计，将会产生比商业领域更严重的歧视性后果。如在司法领域利用算法程序预测再犯概率，就很容易因为算法设计人员所带有的歧视理念或因为不准确的算法而产生歧视性的风险评估结果，严重危害公平正义，也有损于司法的公信力。

一般而言，受歧视群体往往因“外团体”(10)“外团体”(out-group)，指的是处于弱势地位、背负污名、遭受排挤的群体，是平等与反歧视措施的主要适用对象。身份而遭受着“弱势循环”，呈现出“强者越强，弱者越弱”的生存状态。从资源与利益分配的角度来看，算法歧视严重破坏了分配正义，不论是在物质资料分配方面，还是在劳动分工和社会制度分配方面，都承受着严重的歧视，对社会公平正义带来了非常大的负面影响。因此，有待于分别从技术上和法律上做出应对。

3.侵害公民平等权利的算法歧视

平等是一种价值目标，亦是法律的精神与生命。平等作为基本权利已经被大多数国家以宪法或法律的形式予以确认。“宪法上的平等，是禁止在本质相同的情况下基于对个人或群体的某些自然性、社会性的固有特征，作出任何旨在损害、克减、限制或剥夺他人合法权利的不合理的差别对待，或者任何基于不合理的区别措施具有损害特定群体或个人的法律效果。”(11)周伟：《禁止歧视：法理与立法》，法律出版社2020年版，第1页。禁止歧视是平等权的主要内容之一。受歧视者往往是在相同情况下受到了不合理的区别对待，这种不合理的区别对待严重侵害了公民的平等权利。而算法歧视则在一定程度上固化了社会中的歧视和不平等。如亚马逊公司曾经为了方便快捷而使用的简历分析系统，即自动将女性求职者的排名后置于男性，这使得女性求职者在相同的求职条件下受到了区别对待，严重违反了男女平等的基本原则，形成算法性别歧视。

二、算法歧视的挑战

通过对历史数据的聚类和分析，实现对新数据的归类和预测的算法运行模式，似乎是按照孔德“社会物理学”的构想而行进，即基于不断推进的理性科学认知，人们将能够根据现状进行统计分析，掌握社会规律，进而实现社会预测。(12)See Comte A.“ System of positive philosophy”,R. Bierstedt ed.The making of society,New York: Random House Press,1959,p.192.然而实践中，算法技术反而因这样的技术理论逻辑引发各种歧视和不平等的挑战。总之，算法歧视不仅带来技术建构上的结构性挑战，还带来算法运行上的功能性挑战，更有平等权消解、算法权力扩张以及法律功能异化等隐藏性挑战。

(一)技术建构上的结构性挑战

算法的结构是以技术为依托而建立起来的，因此，算法歧视的结构性挑战主要体现在算法技术建构方面，是基于算法技术本身的逻辑与技术的缺陷而引发的。算法主要是对既有的数据信息进行改造和再生产而建构起来的。在此过程中，算法的“技术逻辑”能够使结构化了的事实和规则“推理”出可重复的新的事实与规则，“在‘事实、规则——事实、规则——事实、规则’的螺旋上升过程中，既有的以及推导出的事实和规则成为下一次计算的基础，并且被不断强化，最终印证系统设计的目的。”(13)李文静、栾群：《人工智能时代算法的法律规制：现实、理论与进路》，载《福建师范大学学报》2020年第4期。这一技术建构过程符合人类思维方式与认知规律，而且这样的算法技术设计能极大地提高效率，减少运行成本，但是技术的建构逻辑是以既有知识作为算法运行的前提性要素的，因此，算法技术的逻辑推论过程并不能做到全面而周延，所得出的结论也只能是既有知识范围基础上的经验性结论，其存在技术建构逻辑上的瑕疵，构成技术建构上的结构性挑战。

(二)算法运行上的功能性挑战

算法的功能主要是在算法运行的过程中实现的，因此，算法歧视的功能性挑战主要体现在算法运行方面。在此，以算法运行中的算法个性化推荐和冗余编码为例，对算法运行上的功能性挑战加以论述。

第一，算法个性化推荐产生的算法歧视挑战。常见的“大数据杀熟”现象(即“动态差异化定价”机制，又称“区别定价”)即是商家利用与消费者之间的信息不对称，而将消费者锁定在一个封闭式的消费空间中，其遵循的不再是以往那种公开透明的商业模式或消费模式，而是通过系统评估用户的心理承受价位，以一对一定价的方式推送给用户相应的商品，并提供不同的价格，形成了违反公平交易的算法价格歧视。这表明，“大数据杀熟”不再是仅仅涉及商业道德、商业伦理方面的问题，而已上升为一种涉嫌价格歧视的法律问题。这样的算法运行严重影响着市场经济的健康有序发展，侵害着公民的合法权益，不利于算法功能的实现。

第二，“冗余编码”产生的算法歧视挑战。“冗余编码”产生的算法歧视指的是将本应受到保护的敏感性数据，与其他可合法获得的数据进行编码与关联性应用，从而产生的歧视性的决策结果。(14)See Solon Barocas & Andrew D.Selbst，Big Data's Disparate Impact，California Law Review,vol.104：671, (2016)．如用人单位利用大数据算法从人才库中选聘(或解雇)应聘者本是常见的人才选拔与淘汰方式，但在此过程中，如果单纯以通勤时长作为评价策略，做出拒绝录用(或解聘)通勤时间过长员工的决策，那就有可能构成对该群体的算法歧视。因为以通勤时长作为评估和判断员工胜任工作与否的标准，实际是对员工进行了不合理的区别对待。通常情况下，通勤时间过长往往是因为经济条件等原因而居于远郊或交通不便的地方，如果以通勤时长作为员工胜任工作与否的标准，会进一步降低该群体的雇佣率，将现实社会中可能已经存在的歧视转化为算法歧视，强化歧视的作用力与覆盖面。(15)参见张玉宏、秦志乐、肖乐：《大数据算法的歧视本质》，载《自然辩证法研究》2017年第5期。

(三)平等权消解、算法权力扩张以及法律功能异化的隐藏性挑战

算法时代所带来的各种社会问题，往往与技术要素、资本要素密切相连。算法歧视是算法技术的衍生物，是垄断性的算法技术与营利性的资本深度结合而产生的，是一个相当复杂的问题。因此，除了上述结构性挑战和功能性挑战以外，还需格外注意隐藏在算法歧视背后的，基于平等权消解、算法权力扩张以及法律功能异化所带来的隐藏性挑战。

1.算法歧视隐藏着平等权消解的挑战

技术的发展进步要始终以人为最终目的，坚持以人为本，实现人的全面发展，避免发生人被智能技术排斥且无法得到救济的情况。算法除了带来外部法律治理的技术危机外，还对一些基本权利保护体系产生了极大的影响。算法歧视对公民基本权利的侵害正表现在权益侵害程度以及侵害后果的不确定性上，且受侵害个体较难获得救济。

平等是一个具有多重含义的概念，其所指对象既可以是政治参与的权利、收入分配的制度，又可以是不得势群体的社会地位和法律地位。(16)参见博登海默：《法理学——法律哲学与法律方法》，邓正来译，中国政法大学出版社2017年版，第310页。“现实中产生不平等的原因在于人类社会普遍存在的歧视现象……每个期望实现社会正义和人权的社会，都以平等为社会基石……‘免受歧视’是从平等权引申出来的一项权利……免受歧视，实现平等，也就成为实现弱势群体人权首要的基本的要求，而平等和不歧视原则则成为弱势群体人权保护制度的核心。”(17)张爱宁：《平等和不歧视——弱势群体人权保护国际标准研究》，世界知识出版社2021年版，第27页。“机会平等”和“消除歧视”已经是各国反歧视法的目的条款。算法歧视既违反了“对相同的人给予相同待遇”的形式平等原则，又违反了以机会平等和结果平等为基础的实质平等。算法歧视不平等的来源：一方面，源自算法模型设计本身存在的歧视和不平等的技术规则体系；另一方面，源自数据收集利用时，将具有歧视性的或敏感性的数据信息进行了收集利用，从而将受歧视群体转化成为潜在的歧视对象。

2.算法歧视隐藏着算法权力扩张的挑战

进入信息化时代，算法在本质上已经不单单是一种数据计算程式，而日益成为一种“算法权力”，与社会化的知识、利益以及公共权力越来越密切地联系在一起，深刻影响着社会生活中每个人的行为选择。作为一种越来越重要的“非国家力量”，“算法权力”甚至演化为一种“准公权力”，其利用自身在数据处理与算法上的技术优势，产生对政府、公民、社会组织的影响和控制，造成传统“权利——权力”格局的失衡。(18)参见郑智航、徐昭曦：《大数据时代算法歧视的法律规制与司法审查——以美国法律实践为例》，载《比较法研究》2019年第4期。尤其会在分析人类的各项主观偏好的基础上，将带有该种偏好的信息推送给相应个体，从而影响人们的判断和决策。如爱彼迎民宿预订平台就在2017年时被曝出，使用歧视性算法优先筛选或引导受欢迎的潜在租户入住高质量房间，为平台创造最大化的经济利润。(19)See Benjamin Edelman，Michael Luca，Dan Svirsky. Racial Discrimination in the Sharing Economy: Evidence from a Field Experiment,American Economic Journal: Applied Economics,vol.9：2,(2017).这种影响力和控制力其实是源于隐藏在算法权力背后的资本权力的崛起，而这样的资本权力实际掌控着算法设计、研发及运行的全过程。第一，算法具有高度的专业性，算法权力这种新型权力体系只被算法技术持有者这一少数群体所掌握。由于高度的专业性使得算法设计人员或算法平台等算法技术持有者与普通用户之间形成了巨大的“数字鸿沟”。普通用户基本只能得到并被动地接受最终的决策结果，根本无法追溯并理解以技术代码的形式呈现的算法决策的过程、决策的依据、决策的结构，并发现其中所存在的算法歧视。第二，算法不再只具有传统网络平台的工具性特征，而是作为具有信息配置主导权的规则本身而存在。无论是在社会治理当中还是在商事交易当中，算法技术已然成为基本的应用工具。掌握着算法权力的资本，同时掌握着算法建构的基础——数据。海量数据的存储、计算和运用，使得资本在数据占有方面享有绝对优势，甚至演化成数据霸权，如阿里巴巴的网络交易平台就掌握着包括个人身份识别信息、金融信息、消费信息等的海量个人数据信息，从而得以进一步商业化地开发利用其所掌握的数据信息，发挥数据价值。第三，政府在数据信息挖掘方面需要加以改进。除了存在因科层体制所产生的数据壁垒的原因以外，技术人员的欠缺、数据信息利用度低也是重要原因。而现代化国家治理对算法技术的运用又具有极大的依赖性，因此政府需要与资本开展合作，以获得算法技术和数据信息的开发共享。本该由政府监管的算法平台转化成为政府的合作对象，又一次拓宽了自身的影响力。

在技术视角下，算法权力对规制国家公权力起到了重要的作用；而在资本视角下，算法权力逐渐帮助拥有算法和数据技术优势的资本建立起相对于国家来说的优势地位。在数据优势、算法技术优势以及资本优势的叠加作用下，使得权力与社会秩序、资本与国家的关系逐渐发生异化。

3.算法歧视隐藏着法律功能异化的挑战

作为智能科技，算法技术对现行法律制度和法律体系都带来了极大的风险挑战，不仅为未来法律规范创造了新的规范对象，还深刻改变了现有法律实践的运行逻辑。算法歧视这一经由数据收集与算法运行而形成的技术秩序带来了新的法律治理难题，引发法律功能的危机和异化。

算法是基于统计学而建立起的具有描述性、学习性、动态性的随机性控制，在这样的动态随机数据中不断地进行自我适应和改进，据实际的状态而非规范的预期来做出策略选择。(20)参见余成峰：《法律的“死亡”：人工智能时代的法律功能危机》，载《华东政法大学学报》2018年第2期。常见的算法种族歧视、算法性别歧视以及算法价格歧视，就是在动态数据的统计学习中所做出的策略选择，这种歧视性选择在技术领域是符合一定技术秩序的，在法律领域却严重违反了法律规定。无论社会实际与现实法律状况如何，法律总致力于实现从形式平等到实质平等再到机会、能力和结果平等。而算法技术则是以效率为根本导向，这也决定了算法技术中对不同主体区别对待的特性，与法律所追求的平等对待相悖。因此，规范性的法律在认知性的算法作用下，面临着法律功能异化的挑战。

三、算法歧视的法律应对

良序社会是罗尔斯为论证正义原则而建构出的社会形态，其基本特征是社会成员具有普遍的正义感，并以追求社会成员的利益为社会主要目标，秉持着公平正义和自由平等的理念，充分保障了公民的平等权利，给予公民平等的尊重和保护。在这样的社会中，人与人之间基于相互间的协作配合，形成了自由而平等、良序而正义的社会。(21)参见约翰·罗尔斯：《正义论》，何怀宏、何包钢、廖申白译，中国社会科学出版社2009年版，第359页。以当前社会视角来看，良序社会的实现需要将良序的技术与良序的法律相结合。既赋予算法技术发展进步的需要，又通过建构算法行业内生型治理机制，妥善处理好技术治理与法律稳定之间的关系，促进算法技术的良性发展。具体而言：一方面，在算法设计的过程中，应强化法律与技术的融合发展，推动建立法律和科技共治的模式，将算法代码与法律规则相结合，充分发挥技术优势和法律制度优势，将技术规范的基础性作用与法律规范的保障性作用相结合，即建立起由科技理性和法律理性共同支撑的社会秩序；另一方面，加强对算法技术的法律治理，以法律价值来影响算法，以强制性的法律规范来确保技术规范的正确实施。

(一)强化内生型治理，构造技术良序

内生型治理，主要是从技术正义的角度出发，形塑数据正义，并从技术正当程序的角度出发，建立起算法审查与监管体系，以构造技术良序。

1.形塑数据正义，应对技术建构上的结构性挑战作为新时代经济社会发展的基本特征，数字化与数据化已经是当今时代不可阻挡的潮流和趋势，大数据更是基于传统的“测量式的小数据”与现代的“大记录”相结合而形成了新时代的生产资料。(22)参见张玉宏：《品味大数据》，北京大学出版社2016年版，第110-111页。数据作为信息载体，只是一种可被编码的符号，其通过载体、编译代码、服务协议以及操作权限等才产生的实际法律关系，因此具有工具性、中立性的特色。而算法则依托数据建立起了自己的运用程序，算法之所以会产生歧视，很大程度上是由于作为主体的人对数据进行解读与设计运行时，融入了自身的主观认识，使得数据具有了非正义的属性。在算法中，算法正义的实现基础乃是“数据正义”(23)See Ethan Katsh&Orna Rabinovich-einy.Digital Justice: Technology and the Internet of Disputes, Oxford University Press, 2017，p3.，要通过形塑数据正义，应对技术建构上的结构性挑战。

其一，要秉持平等、非歧视的数据价值观。算法依托的是人与数据，人是信息持有者，数据承担着信息的传递任务，算法则建立起运算程序。为避免由于技术开发原因所导致的算法歧视，在数据收集之初即应该秉持平等、非歧视的数据价值观，遵循平等保护与“无害化”的基本原则，筛选掉非正常来源的、具有歧视性的或可能产生歧视后果的数据信息，以数据信息的最小化收集为基准，以个人数据信息处理的必要性为限度，从而起到必要的信息筛选与过滤作用，排除人类的偏见与歧视，形塑向善、无害化的数据，以充分保障公民平等权。2019年4月8日欧盟委员会发布的《可信赖人工智能伦理指南》(Ethics Guidelines for Trustworthy AI)，明确指出使用人工智能系统要坚持“多样性、非歧视性和公平性”原则。(24)参见《ADAS/AD相关标准翻译04-人工智能伦理01欧洲篇》，载51fusa安全社区，https://www.51fusa.com/client/knowledge/knowledgedetail/id/422.html，2022年4月9日访问。我国国家新一代人工智能治理专业委员会在2019年6月印发的《新一代人工智能治理原则——发展负责任的人工智能》，也确立了“公平公正、尊重隐私、安全可控”的人工智能发展原则。(25)参见《发展负责任的人工智能：新一代人工智能治理原则发布》，载中华人民共和国科技部网站，http://www.most.gov.cn/kjbgz/201906/t20190617_147107.html，2022年4月9日访问。其二，要建立政府与企业联动的数据合规体系。技术良序的建立需要群策群力，形成政府、企业的联动体系。一方面，政府要建立统一的数据监管机构，形成数据管理与数据保护相互配合的二元数据治理机制，保障数据真实、客观。根据算法技术发展特征，因地制宜地颁布制定相应的技术规则与标准。将企业与政府相连接，在规范数据、算法的同时，也保障企业核心利益，实现数据正义。另一方面，企业要以数据合规作为企业合规的重点，既要严格遵循现有法律法规、遵守公共秩序，又要从顶层设计出发实现综合治理，明晰体系责任的问题。在收集数据时，要征得本人同意，以做到民主化的数据收集和对公民个人数据信息安全的保护。

2.建立算法的内部审查和监管体系，应对算法运行上的功能性挑战

在算法歧视的应对和治理中，要建立算法的内部审查和监管体系，以应对算法运行上的功能性挑战。第一，要做到将法律的反歧视目标与强制性规定贯穿于算法当中，积极引导算法设计人员严格遵从算法技术设计的非歧视标准。增强算法透明度，做到在技术层面上的算法合规，获取合法合理的算法利益，以自律性规范建构自律性秩序。第二，以区块链技术备份原始数据内容，保证输入数据的原始、真实，并考核数据来源的合法性与合理性，将算法建立在数据资源正义、数据来源合理的基础上。第三，在数据的中期处理应用中，严格准确记录应用过程、策略以及比例等，履行必要的注意义务；建立相应的周期复查机制，以应对原始算法在不断迭代更新中所产生的新变化。(26)参见王夙：《人工智能发展中的“算法公开”能否解决“算法歧视”?》，载《机器人产业》2019年第3期。

(二)加强外部性治理，构造法律良序

法律是人类安全和发展的制度保障，要通过法律建立起相应的秩序，以服务于本时代的经济社会发展。在算法时代，法律作用的场域发生了实质性的变化。要理性审视科技发展所可能带来的非理性后果以及如何通过法治来进一步降低科技发展可能带来的风险。(27)参见韩大元：《当代科技发展的宪法界限》，载《法治现代化研究》2018年第5期。技术与法律是社会治理和风险防控中可以进行相互转换的两种不同进路。综合来看，凭借社会共识而建构起来的法律治理逻辑，不同于依赖自我偏好而建构起来的技术治理逻辑，因此，在对算法歧视进行法律治理时，要将法律的知识体系与算法的技术(数理)逻辑体系相弥合，有效审视科技所可能带来的非理性后果，充分遵循技术伦理，运用法治来降低技术风险，进而达到防范风险的法律制度设计目标。具体而言，可通过以下几个方面来探究算法歧视的外部性治理的方案。

1.以安全法治观为基本价值取向

当今时代，如何引导法律与算法的对接，建立从“确权”“赋权”，到“限权”再到“权利救济”的完整技术开发和法律治理的逻辑链条，是实现算法技术发展、算法歧视治理的关键所在。在此过程中要树立安全法治观，将算法歧视风险降到最低，更好地维护和促进与数据相关的权利的设计与运行。要在充分明晰算法的应用范畴与算法规则的基础上，强化对算法的审查，从而避免社会大众受到算法权力的侵害，充分保障数据信息安全与算法技术发展，并保障数据存储、利用、流通过程中的安全性。

2.保障数字人权，实现实质平等，应对平等权消解的挑战

数字人权是伴随数字科技的发展而出现的新兴权利。建构法律治理体系，保护数据权与信息权，并将其作为算法设计的理念指引，是科技与数据治理中的应有之义。数字人权要求数字科技务必做到以人为本，以维护人的尊严和权利为出发点。具体而言，数字人权既要求对数字化生活中的数据权、隐私权、人格尊严权、平等与非歧视等权利予以尊重和保护，又要求对弱势群体面临的“数字鸿沟”问题进行填补，以实现数字科技的善用善治。(28)参见张文显：《新时代的人权法理》，载《人权》2019年第3期。一直以来，平等都是反歧视的理论基石，更是反歧视的正当性基础。对平等和反歧视目标的实现要求逐步做到：从“法律面前人人平等”的形式平等；到对弱势群体予以一定的合理的政策、制度倾斜(包括实施暂行特别措施)的实质平等，保障每位公民都能平等享有法律赋予的基本权利；再到改变制度环境，理顺社会分配机制，以尽可能地实现社会融入。还要充分尊重人性固有的尊严，尊重人的价值和理性能力。这一点在算法中同样适用。

算法歧视作为数字科技发展中出现的侵害公民基本权利的典型表现，在一定程度上也是基于算法权力扩张而引发的对特定主体平等权的侵害。如算法个性化推荐服务即赋予了算法决策系统区别对待的权力，进而产生了算法歧视。为避免算法歧视的发生，就需要将算法技术限定在平等、正义、安全的界限内，从权利视角来规范数据信息获取与算法技术利用上的不平等，让公民能够真正依法平等地获得私有财产的保护以及个人隐私、个人人格利益等基本权益的保障。因此，在治理算法个性化推荐服务所带来的歧视时，就需要平等看待数据系统中的各个主体，对可能影响到公民个人自由或个人基本权利行使的各类敏感数据信息等建立起特定的保护机制，限制或禁止企业过度采集与利用。既要做到严格审查这些数据信息的收集机制，又要对算法决策过程进行定期检查，做到及时有效防控。在允许的条件下，甚至可以禁止将这些敏感数据信息囊括进算法区别对待的函数设计当中，从根源上消除歧视。重塑法律对平等权的保护机制，避免算法权力的扩张所带来的对公民平等权的侵害，尽可能地实现对数字人权的保障。

3.处理好公权力与算法权力的关系，应对算法权力扩张的挑战

算法权力的日益扩张，除了带来算法技术的突飞猛进，还带来了对政府、公民、社会组织的影响和控制。作为算法权力背后的资本更是全面控制着公民的各项数据信息，并利用算法技术做出了诸多区别对待的歧视性决策。对此，需要我们切实处理好公权力与算法权力之间的关系。第一，政府等公权力主体要提高对算法技术的应用能力，善于在工作中借助算法垄断平台的设备与技术来提高决策和执行效率。可以看到，在算法的帮助下，政府可以更轻松地实现对公民个人信息的采集，并进行精准监控，如在新冠肺炎疫情期间，政府通过借助算法平台记录感染者的运动轨迹的方式来筛查隐患，极大地提高了筛查效率，也有利于疫情防控措施的有效推行。(29)参见郭哲：《反思算法权力》，载《法学评论》2020年第6期。第二，公权力在运用算法决策时，应进行审慎的考量并接受必要的监督，防范公权力对公民权利的侵犯以及对算法技术创新的阻碍。第三，要始终将算法平台置于被监管的地位，强化公权力对算法平台的监管。

4.重塑法律功能，健全法律问责机制，应对法律功能异化的挑战

面对算法所带来的法律功能异化的挑战，要重塑法律功能，发挥法律对算法歧视的治理作用。包括进一步健全法律问责机制，重塑法律对算法平台及算法设计者的约束和监管功能。问责机制是对算法歧视法治化治理的保障。要分别对责任主体、责任范围、追责标准与责任承担方式等作出明确规定，以规范算法的运行与决策。我国《互联网信息服务算法推荐管理规定》即分别对算法推荐服务提供者的法律责任作出了规定：“法律、行政法规有规定的，依照其规定；法律、行政法规没有规定的，由网信部门和电信、公安、市场监管等有关部门依据职责给予警告、通报批评，责令限期改正；拒不改正或者情节严重的，责令暂停信息更新，并处一万元以上十万元以下罚款。构成违反治安管理行为的，依法给予治安管理处罚；构成犯罪的，依法追究刑事责任。”(30)《互联网信息服务算法推荐管理规定》第31条。需要注意的是，通常我们将禁止歧视的理论基础建立在对平等的追求上，禁止歧视的目的也是为了获得法律的平等保护。而禁止算法歧视除了要实现法律意义上的平等保护，还要避免对算法技术的发展造成阻碍。因此，要充分尊重和保障合理的市场自由竞争，要能看到数据与算法行为的“一体两面”，不对算法技术进行极端化治理。比如在市场充分竞争、价格透明的基础上，可允许进行算法区别定价。

此外，还可以通过反歧视诉讼来应对算法歧视。反歧视诉讼是排除不恰当的资源分配制度，消除自由市场在资源分配中存在的固有缺陷的重要手段，根本目的是“通过适度司法干预建立公正的社会资源分配机制，确保市场经济条件下机会平等的真正实现。”(31)李成：《平等权的司法保护——基于116件反歧视诉讼裁判文书的评析与总结》，载《华东政法大学学报》2013年第4期。反歧视诉讼是实现平等权的有效途径，其通过禁止歧视的名义实现了对宪法平等权的保护，从而可以逐步实现对算法歧视的法治化治理。其中，通过公益性的或有影响性的反歧视诉讼能够有效推动司法进步，并且可以在具体纠纷的解决和在对受歧视者的救济中，进一步倒推立法的完善和制度的变革与进步，从而为更广泛的公民提供帮助和救济。如意大利户户送有限责任公司算法歧视案(Filt Cgil di Bologna、Filcams Cgil di Bologna 、Nidil Cgil Bologna v. Deliveroo Italia S.R.L.)即以意大利总工会位于博洛尼亚的三个分工会——运输业劳动者工会、旅游与服务业劳动者工会、非典型劳动者工会的名义提起诉讼，其既体现了公益性，又是有影响性的反歧视诉讼。毕竟公益诉讼要比个人维权拥有更多优势，具有更大的影响范围、更高的社会关注度和更小的维权成本，也具有较强示范意义，便于歧视纠纷的解决和受歧视者权益的保护，在一定程度上也提高了司法的社会效用价值，实现了算法歧视的外部性治理。

结 语

算法的发展应用不仅带来了更便利、更高效的生产、生活与工作方式，还带来了更大的安全伦理挑战与法律治理难题。算法歧视就是算法所带来的典型的安全伦理挑战与法律治理难题。就算法歧视本身来说，其作为一种新型歧视类型所带来的具体挑战包括：技术建构上的结构性挑战、算法运行上的功能性挑战、平等权消解、算法权力扩张与法律功能异化等的隐藏性挑战。对此，要积极通过内生型治理和外部性治理来构造技术良序和法律良序，最终形成技术和法律共同支撑的良序社会。具体而言，一方面要从技术正义的角度出发，形塑数据正义，并从技术正当程序的角度出发，建立起算法审查与监管体系，以构造技术良序，应对技术建构上的结构性挑战和算法运行上的功能性挑战。另一方面，要从安全法治观入手，积极保障数字人权，实现实质平等；处理好公权力与算法权力的关系；重塑法律功能，健全法律问责机制，以构造法律良序，应对算法歧视的隐藏性挑战。尽可能地避免或减少算法歧视对于市场经济秩序、社会公平正义以及公民平等权利的侵害。

综之，算法表面上公正、平等的自动化决策系统，其实隐藏着不公正、不平等的算法歧视，所得出的预测结果也与现实情况发生了严重偏差，某些算法决策会延续或增强社会中的不平等，从而加重了特定弱势群体的劣势地位。因此，法律的积极有效应对便是其中的应有之义。不论是算法还是其他技术，都要始终维护人的主体性，保障人的基本权利和尊严。当下，迫切需要我们有效应对算法带来的科技风险，积极治理已经出现的算法歧视问题，促进算法的健康有序发展。