文/杨 佳（中国人民银行南京分行营业管理部）

大型互联网平台算法的应用在促进互联网经济飞速发展、提升金融服务效率的同时也引发了算法歧视问题，本研究初步探讨了金融算法数据源的获取、算法歧视的法律规制现状和存在的问题及其相对应的建议。

一、 研究背景与意义

大型互联网平台是我国信息技术创新应用的中坚力量，也是信息和数据资源的重要使用者，在进一步推动金融科技和数字普惠金融发展方面发挥至关重要的作用，而算法是大型互联网平台得以运行的核心技术，可作用于精准客户营销、智能决策、创新商业模式、提升效率等多个方面。算法在促进互联网经济飞速发展的同时也引发了金融公平公正、金融消费者权益保护等多个问题。英国《卫报》曾经发布报告，显示算法对某类人群有歧视，被打上小微企业、农民、低收入人群、残疾人、老年人等标签的群体在申请金融服务时的难度越来越大，即使获得也是劣质的金融服务；美国联邦贸易委员会调查显示广告商更倾向于向低收入群体展示高息贷款信息；国内以今日头条为典型代表的多家信息平台，在推送信息时将消费者的消费理念与特定信息绑定，如长期推荐的信息有关金融投资、金融价值偏好，会对用户的理财投资计划和投资选择能力产生影响，甚至与消费者在公开透明信息下的选择产生偏差。目前有学者对互联网时代的算法歧视现象进行了较深入的研究，但尚没有针对大型互联网平台算法歧视下的金融消费者权益保护问题进行细致研究，因此，对互联网平台算法歧视下金融消费者保护问题进行研究很有必要，对助力普惠金融发展将起到积极作用。

二、 大型互联网平台算法歧视概述

1.金融算法数据源的获取

大型互联网平台的不断发展深刻地改变了包括金融在内的多个领域，其核心是算法驱动，而数据作为算法的原材料也越来越被重视，被称为“新石油”，成为市场经营主体竞相争夺的新兴生产资源。金融领域数据的获取主要来自三种方式（见图1）：第一种为系统运营累计数据，金融机构日常运营中通过布放的数百个系统得到庞大的沉淀数据，商业银行和保险公司的数据量级都在TB 以上，作为自身金融算法的重要数据源；第二种为外部搜集数据，借助大数据和人工智能实施采集社交媒体、舆情监控、电商交易等多维用户数据，提取金融属性后可作为金融算法的输入；第三种为第三方获取数据，通过第三方爬虫客户端爬取互联网平台数据，或通过数据交易市场购买等方式获得金融算法数据源。

2.大型互联网平台算法歧视分类

数据本身具有中立性，而在金融数据采集过程中由于人为操控、营利导向等原因，对金融客户数据主体会出现区别对待。特别是在大数据背景下，依靠机器学习的自动决策系统在对数据主体做出决策分析的过程中以算法为手段操控数据源，就会造成算法歧视。包括从金融消费者的信息采集、特定推送和个性定价等阶段，以及信息输入、数据整理、算法决策、幕后控制等多运行环节对消费者实施多阶段多环节的“显性歧视”或“隐性歧视”。具体而言，大型互联网平台算法歧视分为三种：

图1 金融算法数据源获取方式

（1）设计者主观歧视。设计者在编制算法时将主观上的歧视编入算法，设计者在设计算法时对普惠金融对象进行标签分类，对财富较少、抗风险能力较差的金融对象做出拒绝提供金融服务的决策，甚至在数据采集和身份识别环节会对特殊群体加以过滤，使之根本无法得到金融服务的机会。如人脸识别支付系统在构建智能数据库时可能选择性地忽略掉亚洲人面部特征的采集和存储，进而导致亚洲人无法享受刷脸支付、账户变更、账户验证等便利性金融服务。

（2）机器学习主观歧视。算法系统在自我训练时形成的知识库存在歧视现象，这是计算机领域著名的GIGO(garbage in，garbage out)，即算法输入的是垃圾数据样本，那么算法输出的也将是无用数据，在大数据领域这种现象也被称作“偏见进，偏见出”。如亚马逊公司曾经在2014 年开发了一套“算法”来帮助简历筛选，开发小组开发出了500 个模型，通过50000个术语知识库让算法学习权重分配，却导致算法对男性应聘者有着明显的偏好，当算法识别出“女性”相关词汇的时候，便会给简历较低的分数，究其原因是亚马逊用来作为训练样本的数据本身就带有很强的性别偏好，导致算法只能邯郸学步，从以往的历史数据中自然而然就学到了性别偏好。而金融领域常见的大数据杀熟也是一种机器学习主观歧视，利用计算机的深度学习能力对金融消费者的线上交易数据分析，形成可用信息后智能化地针对不同群体进行差异定价。

（3）客观系统算法歧视。算法系统完全客观理性，设计者也使用了客观中立的输入数据，但某些客观中立数据形成组合后仍然会产生歧视性结果，最终刻板地依据数据标签做出歧视性决策。例如信贷领域，小微企业即便有不错的运营能力，在贷款获批的可能性上却依然低于大型企业，甚至需要偿还更高的平均还款利率。这是因为系统获得小微企业属性后自动与经营实力弱、风控能力差、资产抵押不足等问题关联，在输入数据与特定结果之间建立虚假关联，对此类输入产生歧视性后果，最终影响小微贷款投放。

三、 算法歧视下的金融消费者权益保护现状与挑战

1.国内外算法歧视下的法律规制现状

随着算法决策深刻影响并改变着人们日常生活、社会管理的多个方面，算法歧视在金融领域呈现得更为频繁，并且形式隐蔽，会引发理财、信贷、定价等多环节金融服务出现差别对待现象，影响金融消费者权益。为了消除算法歧视对金融消费者权益的影响，各国政府积极出台了一系列规制措施。

国外方面，2016 年4 月14 日，欧盟颁发《通用数据保护条例》，被称为第一部明文规制算法歧视的立法。它对互联网时代个人数据保护做出规定，对算法中的数据挖掘和分析技术做出限定，详细规定数据处理的目的、原则、条件、程序等，保障欧盟公民享有个人数据安全基本权利。《通用数据保护条例》还对如何规制算法歧视进行了要点总结，包括数据清洁、移除敏感信息、禁止收集个人特质相关数据、算法审查等步骤。2014 年5月，美国发布《大数据 抓住机遇 保存价值》，其第五章中详细谈到大数据引发的算法歧视问题，指出数据算法在提升信息价值的同时也会在自动化过程中引发算法歧视，并建议联邦政府从事消费者权益保护的机构应加强专业技术素养，检测识别算法分析程序是否对消费者权益产生影响。除了算法规制，美国还在金融领域颁发了《金融隐私权法案》，对银行员工披露金融记录以及联邦立法机构获得个人金融记录的方式进行了严格限制。2018 年4 月，新加坡金融管理局（MAS）发布《新加坡金融业使用人工智能和数据分析时的公平、道德、问责和透明度原则》（简称《FEAT原则》），该指南旨在促进金融机构在道德范畴内合理地使用人工智能和数据分析，确定人工智能和数据分析的公平性原则，要求定期审查和验证算法决策所使用的数据和模型，以保证算法的准确和相关性，最小化预期外偏差。

国内方面，2019 年我国香港金融管理局（HKMA）发布《人工智能的高层次原则》，为银行业提供人工智能应用指引，要求人员治理方面须有专人为应用人工智能算法而造成的结果负责，程序设计开发方面银行应确保算法可读性及可审计性。同年，发布《关于被授权机构使用大数据和人工智能的消费者保护指导原则》，就香港银行机构在应用人工智能过程中存在的算法歧视、算法黑箱等问题，提出了算法可读性、算法测试、算法公平、算法伦理等多个方面的要求。2021 年3 月，中国人民银行发布实施金融行业标准《人工智能算法金融应用评价规范》（JR/T 0221—2021），规定人工智能算法在金融领域应用的基本要求、评价算法、判定准则，从安全性、可解释性、精准性和性能等方面对人工智能算法金融应用评价进行规范。该规范适用于开展人工智能算法金融应用的金融机构、算法提供商、第三方安全评估机构等。

2.面临的挑战

（1）大型互联网平台下的算法歧视难以被有效识别。一是算法外在表现通常为繁杂的程序代码，具有极强的专业性和技术性，虽然算法输入、输出可见，但在逻辑层面往往超过一般人的理解水平，普通公众在短时间内无法具备识别算法逻辑的能力，更难在代码层面指出算法歧视现象。二是算法歧视性决策结果类似黑箱操作，其决策过程不公开透明，在专业技术掩护下算法歧视隐蔽性更高，算法决策过程对外隔离，普通群众只能被动接受结果甚至没有发现算法歧视的机会。

（2）算法歧视识别存在时效性，取证难度大。一是算法随着机器学习不断进化，算法歧视贯穿其中并不断变化，某一时点的歧视逻辑到下一时点可能变化，取证难度大且证据难以保存。二是算法设计者掌握算法的解释权，更容易做出有利于自身的算法设计和解释，监管部门缺乏对大型互联网平台算法的事前代码审查，事后监管依据和手段也较为单一，调查取证难度大。

（3）相关法律法规较多，尚无统一明确的大型互联网平台算法立法体系。目前算法歧视可适用传统的平等保护法律条款，但传统法律法规存在针对性不强、规制精度不够等问题，究其原因是算法歧视发生的内在原理复杂、形式多样，难以通过整齐一致的法律法规来约束，需要结合具体情况做出针对性的规制。

（4）大型互联网平台算法监管体系滞后，消费者权益保护总体状况不容乐观。目前我国对大型互联网平台算法的行政监管较为滞后，且与行业自律的协同效果差，大型互联网平台算法歧视下的消费者保护问题溢出了传统的监管体系，尤其是某些互联网平台在格式条款、信息收集、数据用途、营销宣传方面存在一些问题和争议，消费者受到算法歧视侵害时取证困难，缺乏有效手段维护自身合法权益。

四、 政策建议

1.增加大型互联网平台算法的透明性

一方面，通过对输入数据监督提高算法的透明度，由于算法的事前公开存在商业泄密风险，公众可将监督重点放在算法输入数据的选择、收集、歧视数据排除上，并要求算法设计者记录这一过程。另一方面，让更多普通民众参与算法模型制定，重点关注算法决策的可追溯性，确保算法决策过程、结果留痕且有据可查。

2.利用法律法规确保大型互联网平台算法的公平性

一方面，通过完善大型互联网平台金融算法的权利、义务、责任体系，如在《中华人民共和国数据安全法（草案）》中明确规定算法治理的范畴，以保证适用于消费者权益保护的法律、制度在司法决策行为执行过程中符合正当程序约束。另一方面，需结合大型互联网平台特点，针对算法歧视制定专门的消费者权益保护办法以方便诉讼救济机制有法可依。

3.加强大型互联网平台算法歧视的自律性

一方面，算法运营商在算法应用中应当严格遵守法律规定，加强自律规制，诚信应用算法，反对利用技术手段对消费者画像实施算法歧视，从而保障金融消费者合法权益。另一方面，要发挥各方合力强化自律监管，鼓励大型互联网平台运营商自发成立行业自律机制，采用行业内部算法审查的互相监督方式，并吸收社会团体中的（如计算机协会、大数据应用协会）专业人才储备，加入行业自律监管队伍。