APP下载

人工智能在信用监管中应用的法律风险及其应对

2022-02-03贺译葶

甘肃社会科学 2022年4期
关键词:惩戒信用主体

贺译葶

(湘潭大学 信用风险管理学院,湖南 湘潭 411105)

提要: 引入人工智能是构建以信用为基础的新型监管机制的有利选择,目前人工智能融合大数据、物联网技术已然在信用信息的共享与挖掘、信用脸谱的描摹、信用风险的预测、信用监管执行的监控及联合奖惩的实施等多个环节彰显功用。但人工智能技术壁垒易阻隔公众知情权的行使;人工智能对信用数据的深度挖掘将威胁信用主体隐私权;人工智能嵌入信用评价的隐匿性会稀释信用主体异议权;机器智能故障易引发联合惩戒过程中的过度损权风险;人工智能算法缺陷亦可能衍生信用监管偏差及权力运行失范风险。对此,应多维治理信用评测中的数据与算法偏见,强化以效果为导向的算法披露理念,赋予信用主体算法解释权并设立信用数据活动顾问;审慎控制人工智能介入信用监管的场景与限度,明确人工智能在信用监管领域的辅助地位;明确信用监管人工智能化的主体间责任,并结合配套立法制度的完善逐一应对。

伴随物联网、大数据及人工智能技术的深度融合,人工智能的应用领域日益广泛,并触发行政监管的智能转型。如在违法监测中引入智能化监测平台和预警系统,提高监管的针对性及可控性[1];在执法过程中启用人工智能图像识别技术,改变违法事实、行为的发现与捕捉方式,提升监管效能;抑或利用闸机票卡、视频智能分析技术建立不同响应级别的疏导管控机制,提升社会治安监控能力。显然,利用大数据、人工智能等新技术推动监管模式、方式的变革与优化已成为实践趋势。《国务院办公厅关于加快推进社会信用体系建设 构建以信用为基础的新型监管机制的指导意见》(2019)提出要充分运用大数据、人工智能等新一代信息技术,实现信用监管数据比对、过程追溯及问题监测,推进信用监管的规范化、精准化及智能化。然而,在信用监管领域引入人工智能既需攻克技术层面的难关,也需防范实践层面可能出现的多重法律风险,着力避免人工智能嵌入信用监管后可能引发的监管偏差及监管权力运行失范问题。

一、人工智能在信用监管中应用的场景与功用

“信用监管是行政机关或法律、法规授权的具有公共管理职能的组织对相对人的公共信用信息进行记录、归集、使用,并按照一定指标体系开展评价、评级、分类,进而分别采取激励或惩戒等措施,实现政府规制目的的行为。”[2]盖因如此,人工智能的技术功用得以贯穿事前、事中、事后监管全过程。

(一)信用信息智能共享与联合奖惩智能推进

大数据与人工智能技术的发展改变了信用信息共享的方式与途径,通过搭建智能化信用信息共享平台,借助运算智能的快速计算和记忆存储能力对海量信用信息进行分布式计算或内存计算与存储,即可实现不同部门及信息归集主体间信用信息分类共享,营建跨部门、跨地域的信用信息共享机制,推动信用监管活动的实时化与智能化。如天津市信用信息共享平台设置的“津眼查”,同时具备数据报送、红黑名单发布、双公示查询等功能,并借助手机微网站、微信公众号、信用天津APP等信用信息共享渠道,实现信用信息共享互联互通,为联合奖惩奠定基础。

目前,失信被执行人智能化联合惩戒平台建设已在福建、海南等地彰显成效,法院将失信被执行人信息嵌入省级各部门业务系统,或参与联合惩戒的企事业单位,通过业务系统对接惩戒平台,实现失信被执行人自动查询、自动比对、自动识别、自动拦截、自动惩戒、自动反馈等功能,为多部门、多单位参与联合惩戒创造了便利条件[3]。与此同时,针对信用信息自动推送、红黑名单自动识别、限制处理自动实施的信用联合奖惩智能化模式亦取得突破性进展。参照失信被执行人联合惩戒智能平台的运作模式,一旦将信用信息嵌入省级各部门业务系统,那么在处理相关行政业务时,联合惩戒平台即会自动识别行政相对人身份信息,是否为被纳入黑名单的严重失信违法者。如确定为已被相关部门纳入黑名单的严重失信违法者,系统会自动提示并进行拦截,联动单位则会按照规定启动联合惩戒措施。此外,随着法律信息检索的智能化推进,借助自然语言处理技术链接违法失信行为与不同法律文本中的联合惩戒措施,即可为多部门实施联合惩戒提供辅助参考[4]。而二维码与人像识别技术的发展成熟,将进一步推进信用信息自动推送、信用名单自动识别、信用奖惩自动提示、处理结果自动反馈及联合奖惩智能化[5]。

(二)信用信息智能挖掘与信用脸谱精准描摹

众所周知,信用信息与数据的充分挖掘是客观评价主体信用状况的前提,亦是实施分类监管的基础。而可用于识别、分析、判断信息主体守法、履约状况的公共信用信息,通常为特定主体在履职过程中制作或获取的信息,主要有四个来源:一是政府在履职过程中制作或获取的信息;二是公共事业机构在开展业务活动中获取的缴费、违约信息;三是司法机关的审判及执行信息;四是互联网信用数据[6],既包括结构化数据信息,也包含大量非结构化和半结构化信息。目前,信用信息报送以结构化数据信息为主,对互联网爬虫、图片、视频、音频等非结构化数据的应用不足,信用档案和评价的动态更新缓慢,影响信用信息共享对各部门间业务的协同联动[7]。而语义引擎在人工智能中的嵌入则为从非结构化数据中爬取有用信息提供了条件,通过深度挖掘及整合特定对象在不同活动场景下的碎片化信用信息实现特定对象信用脸谱的精准描摹,从而有效解决过去监管中存在的信息不对称、信息碎片化及信息质量低等问题。如福州市各级信用成员单位运用多维决策分析方法,实现行业信用指数、区域信用对比,对信用主体360度画像;河南利用大数据及人工智能算法技术挖掘主体信用数据背后的多重内在联系,展现主体“群落圈”,全方位勾勒信用主体的基因图谱[8]。济南运用人工智能技术对企业信用信息进行分析并自动赋分,将企业公共信用评价等级分为A、B、C、D、E五类,实施差异化监管[9]。

(三)信用风险智能预测与信用监管执行实时监控

金融信贷领域往往利用统计模型方法对潜在客户进行信用评分以规避信贷风险,如拍拍贷“魔镜”利用云计算、深度学习、机器学习、大数据等技术搭建的风控系统能够准确预测特定对象风险概率。此种方法亦可借鉴应用于企业信用监管领域,即利用大数据与人工智能技术建构适用于不同行业信用风险预测的分析模型。如利用人工智能算法中的逻辑回归、人工神经网络或支持向量机等分析模型对信用监管对象进行信用类别划分[10-11],藉由人工智能Agent设计信用风险评估模型,对信用主体进行标签化处理,将事后监管转向风险信号事前预警防范,提高分类监管的有效性和及时性。信用监管是传统粗放式管理向精细化管理升级过渡的产物,集差别化监管、动态监管、全过程监管、多部门协同监管与精准监管于一体,涉及信用信息与数据的收集、信用等级划分、信用评估模型设定、信用应用场景铺设及信用监管救济渠道的配备等多个环节,且每一个环节都将影响信用监管运行实效,因而,实时监控信用监管执行情况对于及时发现、解决监管过程中出现的问题及预防信用监管失灵甚为必要。通过建构自动化、智能化的风险预测平台和预警管理系统,实现监管数据的智能比对、监管过程的智能追溯及监管问题智能监测,可动态掌握信用主体活动规律及特征。而人工智能设备的普及则有效拓宽了信用监管的外部监控主体,每一个拥有移动智能设备的公众皆可成为信用监管运行情况的实时传递者与反馈者,因为手机APP在自动推送信用信息、信用名单、信用奖惩结果时,既赋予了公众参与联合惩戒的便利性,也赋予了其反馈信用奖惩执行情况的有效途径。

(四)联合奖惩措施精细比对与监管方案智能优化

目前,地方政府针对守信与失信行为分别设置的联合激励与惩戒措施多种多样并呈现泛化趋势,但奖惩措施的过度设置对于优化监管机制并无助益。激励措施的类型、适用条件及其对特定主体的吸引力大小将影响其对守信行为的激励成效。同理,“惩罚必须具有与行为相联系的某种关系,即在某种意义上,惩罚必须和行为相适应或相均衡”[12],才能更好地发挥惩罚对行为的矫正作用。借助大数据与人工智能技术系统追踪信用奖惩措施的分布领域、运行态势、作用频率及奖惩措施实施效果等数据信息,并进行规律提炼,可全面获悉奖惩措施不同组合应用方式对奖惩结果的影响,为联合奖惩措施的精细设计及优化适用提供参考。此外,人工智能系统通过数字化链接,可对信用监管方案的实施场景进行多维模拟,建构出与现实环境相匹配的拟态情景,藉由基准函数的设定,自动评估不同监管方案之优劣及其在实施过程中需投入的监管成本。或以数字化方式对信用监管方案进行编码处理并纳入虚拟情景实验,呈现不同信用监管方案的效果与缺陷,最后达到方案比较选择和优化调整的目标[13],提高信用监管的成效。或利用Multi-Agent技术构建信用监管仿真模型,有效模拟在动态社会环境中,政府信用监管政策对提高社会信用和企业利润的影响,为信用监管政策及相关法律制度的调试与修缮提供参考。

二、人工智能在信用监管中应用的法律风险

人工智能技术对于信用监管而言是一把双刃剑,作为智能技术,它能提升信用监管的效率及优化监管资源的配置;作为极具颠覆性和不可预见性的新兴工具,人工智能算法的负外部性又易引发多重权益侵蚀风险,并易与监管权力合谋形成权力滥用风险。

(一)人工智能算法缺陷衍生信用监管偏差及失范风险

“算法的核心就是按照设定程序运行以期获得理想结果的一套指令。”[14]相较于人类决策,算法往往被预想为更具准确性和客观性的运算程式,但从数据收集到算法设计都可能隐匿着技术性的算法偏见、突发性的算法偏见或先行存在的偏见[15],当人工智能技术被应用于信用监管领域时,即可能因算法缺陷导致分类监管偏差。

1.人工智能算法歧视客观存在

算法是深度学习的产物,人工智能系统通过深度学习来寻求自身调试,算法结果也因之产生了不确定性与不可预见性[16]。由人类决策向算法型决策转变的一个重要原因是减少偏见和歧视的普遍性[17],即算法被认为是公正、公平和无偏见的决策者,然而事实上算法却可能使弱势群体处于更为不利的地位[18]。美国司法预测系统COMPAS 算法专门用于预测罪犯再次犯罪的概率和危险系数,但该系统输出的结果却被发现存在种族歧视:没有再犯罪的黑人“被贴上更高风险标签的可能性几乎是白人的两倍”,并且再次犯罪的白人“比黑人更容易被贴上低风险标签”[19]。在Facebook 泄密门事件中亦暴露出大数据算法“杀熟”问题,即通过计算机深度学习能力记录人类行动轨迹并分析行为趋势,有针对性地向用户推送诱导性新闻或桃色陷阱等,并产生价格与服务歧视。人工智能算法能够对特定对象进精准信用画像,在普惠金融领域,实现金融对象数据标签精细化,但基于算法的自动化系统会无情地自动筛掉被算法精细标签化后的小微企业、低收入人群、老年人等特殊群体[20]。可见,算法歧视客观存在,究其原因大致有以下几点:一是算法本身可能是不完美的,它可能继承人类设计者对特定事物的认知偏见,并代入人工智能算法编程中;二是人工智能在深度挖掘数据的过程中可能自行发现有用规律,并突破算法规则设计者预期的设想,产生难以预料的算法偏见,而非编程人员有意识的选择;三是算法所依赖的数据存在缺陷或者算法本身可能存在技术性缺陷,人工智能所掌握的数据可能具有不完整性和非正确性。机器获得学习能力需要建立正确合理的交叉验证机制,如若技术人员只是将数据进行简单分类,未对数据生成机理进行深入探索,也会导致人工智能模型存在偏误[20]。

2.算法歧视干扰信用风险预测,导致信用监管偏差

大数据与人工智能算法技术为深度挖掘及整合特定对象在不同活动场景下的碎片化信用信息和描摹特定对象的信用脸谱提供了技术支持,然而,算法歧视在信用评价或信用风险评估领域亦难以免除。人工智能算法中的逻辑回归、人工神经网络、K最近邻算法或支持向量机等分析模型在被运用于信用风险评估领域时,皆可能出现带有偏见或存在偏差的评价结果。算法性信用评分往往会依循设计者已有的偏见来让机器确定什么是良好的信誉,什么是信誉不佳。根据企业信用风险画像挖掘出的信用风险地域、行业、时间等维度的内在规律,则会提供给监管机构参考[21]。因此,当人工智能算法被应用于信用风险预测领域时,亦可能存在类似COMPAS风险预测系统般的歧视,呈现出高、低信用风险主体识别偏差,何况信用评价方法和模型本身可能存在缺陷及顺周期性和滞后性[22]。如个人被冒用身份盗刷信用卡可能产生不良记录,但算法未能对此种情形予以排除。构建以信用为基础的新型监管机制提倡在政府采购、招标投标等事项中拓展信用服务机构信用报告的应用,并以行业信用评价为依据对企业实施差异化监管。可见,即便包含算法歧视的信用画像或信用评价未直接决定监管方案,但却会一定程度地影响行政资源的分配,并衍生信用监管偏差。

3.算法黑箱加剧算法歧视,导致监管权力运行失范

智能机器的深度学习技术就是一个黑箱[23],算法本质上是不透明的,非专业人士对于算法存在认知障碍,其决策标准隐藏在大多数人都不易阅读和理解的代码后面,并且算法具有根据其所依据的数据模式动态进化的能力,这也使得它变得更加不可预测[24],算法的不透明性与专业性形成了算法歧视的衍生空间。人工智能在信用监管领域的扩散应用,令隐匿在智能机器背后的算法成为新的权力主体,算法既可以藉由不同信用分析模型波动特定主体信用风险评价的结果,并因之影响监管资源之配置,也可以藉由监管过程的智能追溯及监管问题的智能监测,动态掌握信用主体活动规律及特征,并由此影响监管措施与方案的调整。但未受正当程序及法律原则约束而又具有不透明性与复杂性的算法权力极易与监管权力合谋形成权力滥用风险,而公众却因算法黑箱的存在,无法理解人工智能算法驱动信用风险预警、监管过程追溯及监管问题监测的应用逻辑,也难以对与算法合谋的监管权力之运行发表异议或实施有效监督。无论承认与否,人工智能深度嵌入信用监管将实际造成监管权的克减,并可能衍生有别于人类的机器监管主体,然而现有的制度体系并不足以防范由此带来的危害。公权力或高度依赖算法进行事项认定,或依赖算法辅助决策,使得传统的行为责任逻辑连接被算法自动切断[25],而不受监督与约束的权力运行则易产生失范风险。

(二)人工智能的负外部性触发多重权益侵蚀风险

人工智能的负外部性指行为主体在应用人工智能时对其他主体乃至社会产生的不利影响。人工智能技术在信用监管中有着广泛的应用,但人工智能算法这种看似客观公正的手段却往往隐匿着算法“偏见”,并产生社会危害性[26],受到算法影响的权利主体甚至无法知晓其权利被侵扰的方式,但却能感知到权利消弭的困惑。

1.人工智能技术壁垒阻隔公众知情权

大数据与人工智能算法技术能帮助信用服务机构勾勒出特定对象多维信用画像,人工智能算法因之渗透到信用评估领域,并受到信用服务机构的青睐。由《国务院办公厅关于加快推进社会信用体系建设 构建以信用为基础的新型监管机制的指导意见》可知,构建以信用为基础的新型监管机制鼓励在政府采购、招标投标、行政审批、市场准入、资质审核等事项中充分参考公共信用服务机构和第三方信用服务机构出具的信用报告,这意味着公共信用服务机构和第三方信用服务机构出具的信用报告会在政府采购、招标投标、行政审批等事项上对信用报告指向的信用主体产生一定影响,乃至限制信用主体在多种行政事务中的权利。然而,公众却很难全面知晓这种可能影响其在多种行政事务中的权利的信用报告之形成逻辑。人工智能算法的复杂性及公众认知水平的有限性正实然阻隔着公众知情权的行使,非专业人士无法理解算法驱动信用风险评估的运行逻辑,更无法度量信用风险评估模型运算方法的科学性。如此一来,即便行政主体具有保障公众知情权的主观意愿,但人工智能算法解释与认知的二元难题亦实然阻隔着这一目的的实现。

2.人工智能对信用数据的深度挖掘威胁隐私权

新型信用监管机制的构建要求利用大数据及人工智能技术解决“信息孤岛”问题并实现信用数据间关系的精确测算与合理勾连,然而信用数据深度挖掘与关联亦会给隐私权的保护带来隐忧。譬如,在以k-means聚类算法对大量信用数据进行分析时,信用数据的分类项及权重虽都是由算法规则设计者设定,通过加权分类体现信用数据在算法中的重要程度,但由于信用数据间的关联性难以割断,不同类别的信用信息在经过组合后仍可能推断出其他信息,由此引发隐私安全问题[27]。在数据足够庞大的情况下,人工智能算法完全有可能根据给定数据间的关联挖掘出信用对象的隐私信息,而SGL、SAS、R或者python等则为自动化算法的强智能化提供了有利的技术支持,使隐私变得非常脆弱[28],在很多情况下,信誉等级就是藉由隐秘程序对隐秘数据的运算得来的[29]。此外,利用大数据与人工智能技术实现对监管数据的智能比对、过程的智能追溯及监管问题的智能监测,虽有利于动态掌握被监管对象的活动规律和特征,但也易对被监管对象的隐私形成威胁。

3.人工智能嵌入信用评价的隐匿性稀释信用主体异议权

《征信业管理条例》第25条规定,“信息主体认为征信机构采集、保存、提供的信息存在错误、遗漏的,有权向征信机构或者信息提供者提出异议,要求更正。”因而异议权可理解为信用主体在发现自己的信用信息出现谬误时向信用信息征集机构反映并要求及时予以更正的权利。异议权所指向的权利内容除可要求信用信息征集机构更新、更正自己的信息外,还有权对信用修复行为进行监督。如若因信用信息加工不当导致个人信用受损的,信用主体有权寻求赔偿。然实际上,个人信用信息异议权的行使往往受到各种因素的影响。以芝麻信用为例,凡在阿里巴巴综合平台上的浏览痕迹都可能被平台采集并作为个人征信的依据。虽然,平台在采集信息前,会履行告知义务,但由于平台服务协议过于繁杂,大多人都是在未仔细浏览的情况下便点击“同意”。每一个使用手机支付宝的用户进入支付宝页面搜索芝麻信用即会自动生成芝麻信用评分,然而,个人对于芝麻信用评分的形成逻辑大多并不清楚,无从对其发表异议,事实上造成了异议权的稀释。美国联邦贸易委员会曾调查发现,信用服务机构提供的信用报告错误率较高,且信用评分规则并不明确,信用服务机构不会积极地对低信用评分进行解释,信用主体在获知信用评分错误时更难以获得救济[30]。

(三)智能机器故障导致联合惩戒过度损权风险

智能程序是人工智能运行的基础,然而计算机程序的稳定性会受到硬件质量、使用频率、硬盘存储、磁盘碎片乃至物理性故障等多种因素的影响。将人工智能应用于信用监管领域,一旦出现系统故障则可能产生扰乱监管秩序及过度损害当事人权益的风险。譬如,法院将失信被执行人名单或地方政府将严重违法失信黑名单共享至公共信用信息系统后,系统将自动与多部门联合惩戒措施清单进行关联,实现信用信息自动推送、红黑名单自动识别、自动惩戒、自动反馈。倘若失信被执行人已自觉履行了义务,而信用信息自动推送与检索平台出现物理损害、网络故障或其他原因导致信息更新延迟或信息匹配错误,则极有可能发生联合惩戒措施滞后调整的情况,导致被惩戒对象一系列权益受损。如将联合惩戒嵌入自动审批系统中将影响被惩戒对象从事特定活动、获得资质认证的权益。虽然智能机器故障发生的概率相对较低,但所牵连的事项范围甚广,可能令联合惩戒对象的多项资格性权益受到不当限制,不得不引起重视。

三、人工智能在信用监管中应用的法律风险规避进路

将人工智能技术嵌入信用监管活动过程是充分发挥新型监管模式比较优势的有利选择,但必须着力剔除人工智能嵌入信用监管后可能衍生的法律风险;适当控制人工智能嵌入信用监管的场景与限度;并明确人工智能应用于信用监管的主体间责任等问题。

(一)多维治理信用评测中的数据与算法偏见

从数据的收集到算法设计都可能隐匿偏见,且无论是数据缺陷还是算法偏见都将导致信用评价结果的客观性失却。因此,须采取有效措施革除人工智能技术嵌入信用监管应用场景时的歧视与偏见,提升信用分类监管的科学性与公正性。

1.强化以效果为导向的算法披露理念

算法技术之所以不受管制与算法过程不够透明有莫大关系,信用风险智能预测的核心算法通常由专业人员掌握,其编码过程即便公开也难以为非专业人士认知。不过,我们虽然不可能期望对整个算法过程获得清晰解释,但可以利用“检查点”的方法来提高对机器学习过程各个阶段的理解,从而为其他人对算法过程进行批判性评估提供机会。譬如,确保数据透明的检查点,检查算法数据集是如何创建以及由谁创建的,避免原始数据在某种程度上的倾斜产生偏差结果[31]。藉由检查点来提升算法透明度实际上就是要优化算法解释的方式和内容侧重,以便于其他非专业人士理解智能算法的运作方式。在信用监管领域引入第三方信用服务机构协同参与特定领域行业信用监管,有利于建立公共信用服务机构与社会信用服务机构互为补充的全方位信用服务组织体系。但公共信用服务机构及第三方信用服务机构应当对其提供给多部门的信用报告的制作规则进行说明。为避免算法运营商以故弄玄虚的专业话术搪塞算法披露或掩盖算法歧视,应树立以效果为导向的算法披露理念,确保非专业人士能够通过相关信息的披露大致了解信用风险智能预测的逻辑及过程。一般而言,除公开算法设计方式、数学模型及源代码等信息外,还应披露算法的设计目的、算法运作流程、运算逻辑和演算过程,譬如算法是如何使用预测变量来评估信用这一目标变量的;公开信用数据集的来源、筛选标准、基本类型、分类方式及不同类型信用数据在算法分析中的加权比重;算法的优势、不足、可能产生的偏差以及矫正机制等。总之,算法信息的披露不应流于形式,应注重信息披露的效果,便于受众理解信用风险智能评估的技术方法、参考因子及分析逻辑。

2.赋予信用主体算法解释权

赋予信用主体算法解释权即当信用主体发现信用服务机构依靠算法生成的信用报告出现不符合逻辑的评价结果或对算法本身存在疑惑时,赋予其要求相关机构对算法依赖的数据集、算法设计方式、算法运作流程及演算过程等与算法结果产出有关的一系列方法与规则做出解释的权利。赋予信用主体算法解释权,一则可修复信息不对称的问题,二则可减少因算法歧视、算法黑箱带给信用主体的负面影响。欧盟《通用数据保护条例》通过在GDPR中赋予数据主体一系列新型算法权利构建了以个体赋权为核心路径的算法治理规则体系[32],相当于将算法问题放在数据保护的框架内进行规制。我国在处理不同领域中的算法问题时也可借鉴此种方式,从立法上对特定主体的算法解释权给予保障。如在立法中赋予算法解释权利主体的算法解释请求权及明确算法解释义务主体应承担的义务及其拒绝履行义务应当承担的法律责任。虽然算法解释权的行使可能因算法的不透明性和专业性受到影响,但理论上不能否定该项权利的重要性。

3.设立信用数据活动顾问

通过调整算法公开的方法与内容侧重可一定程度地缓解算法黑箱及算法歧视问题,但在面对人工智能算法专业问题时,算法的外部监督仍难以凑效。一般而言,信用服务机构利用大数据及人工智能算法技术所勾勒的信用主体基因图谱在政府监管、市场交易乃至社会交往等场域皆能发挥不同的功用,政府机构并非信用服务机构的唯一对接主体,因此,基于规避算法黑箱及算法歧视的目的,对信用智能评估过度干涉,有妨碍信用服务机构自主行为的嫌疑。但从监管的角度而言,如果不能清晰理解人工智能算法技术的作用逻辑,便无法克服技术鸿沟解决隐匿在算法背后的偏见、歧视及侵权问题。因此,可考虑参考德国个人数据活动顾问制度,在信用数据的收集、处理、分析领域设置相应的数据活动顾问。数据活动顾问指的是那些熟悉数据处理程序,且在新的算法投入使用前有能力参与算法设计、检验与评估的人,他们应当具有专业的知识及合法的资质,并实际上承担着数据监管责任,如果其怠于行使职责或出现与企业合谋的违法行为,将与企业共同承担连带责任[33]。通常而言,可用于识别、分析、判断信息主体守法、履约状况的客观数据和资料皆属于信用信息的范畴,而信用风险预测所涉及的数据集越大,那么算法分析模型也可能越复杂,藉由信用数据活动顾问制度不仅可助推信用服务机构的算法透明化,且有利于对信用风险智能预测实施更专业的监督。

(二)控制人工智能介入信用监管的场景与限度

人工智能技术在信用信息的搜集与分析;信用风险评估与预警;监管情景的模拟与匹配及信用监管动态追踪等方面皆不同程度的体现出其价值功用。但必须认识到的是,目前人工智能在信用监管领域的应用还处于初级阶段,其在应对涉及价值判断的法律问题时,仍存在局限。如果人工智能算法能够通过对海量信息的分析和计算,精确描摹个人或组织的信用脸谱,那么,它也可能根据信用脸谱来干预或影响相关主体行为,并产生不同于人类治理主体的人工智能治理主体,实然弱化人类监管主体的角色地位。故而,有必要控制人工智能介入信用监管领域的场景与限度。

其一,重视拓展研发信用风险智能评估技术,但慎重参考信用报告实施分类监管。一方面,人工智能在信用风险领域的应用还处于摸索尝试阶段,技术发展尚不成熟,乃至存在算法型信用歧视[30]。人工智能按照数理统计模型输出的信用评分尚难以替代专业人工综合各种因素做出的经验判断;自然语言识别技术在将模糊的法律语言转化为规范的数字代码时尚存在困难;应用人像识别技术推进信用联合奖惩智能化亦存在技术瓶颈。因此,要充分发挥人工智能在信用监管中的作用需进一步拓展相关技术研发工作,逐步剔除信用风险智能评估中的技术缺陷。另一方面,在技术发展尚不成熟的情况下,监管机构应慎重参考信用报告实施分类监管。《德国联邦数据保护法》规定,但凡会给数据权利人带来不利法律后果或者对其产生严重损害的决定,原则上禁止全自动进行有关人格特征(如征信)的评判,即数据保护法上有着一定的“人工介入要求”[34]。因而,无论是在政府采购、招标投标、行政审批等等事项中,还是信用分类分级监管中,都应当慎重参考第三方信用服务机构出具的信用报告。严格审核第三方信用服务机构的资质、信用报告的形成逻辑、参考因素、分析模型乃至算法运作流程等,对信用风险智能预测过程的科学性、合理性及结果的客观性、准确性做出评估。

其二,重视信用信息的智能归集共享,但谨慎应用人工智能算法对数据信息进行过度推演。大数据与人工智能技术在处理分散化、碎片化的海量信用信息时的确有着传统人工采集和处理方式无可比拟的优势,并为信用信息的共享提供了更为便利的方式与途径,未来可进一步拓展人工智能在信用信息归集共享方面的工具性优势。但同时也应避免信用信息的收集处理违背初始目的,逾越“目的限定”原则,避免应用人工智能算法对大量信用数据进行分析时肆意推演信用主体隐私信息,避免信用信息与隐私信息的不当关联。换言之,利用人工智能技术进行信用信息的挖掘与利用应当具有正当性,既要注意对主体信用信息实施必要的保护,避免信用信息的收集与共享逾越法律红线,也要注意避免藉由给定信用数据信息推演信用主体隐私信息。

其三,重视联合奖惩的智能推进,但慎重对待联合惩戒自动决断。联合奖惩自动查询、自动比对、自动识别、自动拦截、自动反馈等功能的开发极大地提高了联合惩戒的威慑力及多部门参与联合惩戒的效率。但对于“限制性处理自动实施”应当谨慎而为,部分规范文本对联合惩戒措施的应用采用了建议性而非强制性的措辞,说明参与联合惩戒的主体对于是否采取联合惩戒具有裁量空间,当前人工智能技术发展水平尚难以对需要裁量的不完全信息进行处理[35],仍然有必要保留人工审核与决定。当然,不排除未来可通过进一步细化裁量基准,降低裁量的不确定性来拓展机器智能在联合惩戒中的作用空间,但这需要对人工智能介入联合惩戒的条件进行充分论证。

总之,应当明确人工智能在信用监管领域的辅助地位,人工智能技术在信用监管领域的应用意在弥补人类在在智识与行动力上的不足,优化信用监管资源的配置及实现精准监管,但现阶段尚不能希冀通过人工智能技术能解决信用监管中的所有难题。其在信用监管中的运作过程必须能够被清晰解释、被监管和有效控制,才能确保监管权力行使得当,避免人工智能算法与监管权力合谋产生权力滥用风险。

(三)明确人工智能应用于信用监管的主体间职责

信用监管智能化过程中的主体间职责是指在信用监管机制运行过程中不同主体应当承担的义务,或因故意违法或疏于履行法定义务与职责而派生出来的不利后果。信用监管智能化的过程中涉及法院、行政机关、信用服务机构及智能服务平台等多个不同的责任主体,任何一个环节的疏漏都将导致信用监管偏差或联合奖惩谬误。就报送信用信息的公权力机关而言,其应当对所提供的信用信息的真实性、准确性及信息信用更新报送的及时性负责。就公共信用信息共享平台或第三方信用信息征集机构而言,其应当及时处理信用主体的异议;对描摹信用画像或进行风险预测的人工智能技术进行解释,确保人工智能算法的客观性与公平性;对信用信息的违法或不当归集、存储、管理与应用承担相应的法律责任。此外,人工智能系统工程既需对软件、信息与数据进行整合,也需对不同硬件设备进行整合,而硬件设备的质量、运行环境、硬件的稳定性及数据存储硬件的保密性皆可能影响硬件载体安全与工作性能。因此,在联合惩戒智能平台的运行过程中需明确政府与企业双方的责任,联合惩戒智能平台服务供应商应定期对系统硬件进行检修、维护与更换,尽量避免因系统运行不稳定导致信息更新迟缓或报错。智能联合奖惩平台的设计、运行及维护往往由服务供应商提供,但他们并非是行政主体,有关部门应当就智能化联合惩戒平台的归集处理规则、逻辑、运行流程等向公众做出解释说明,对智能平台系统性能进行监管,并对联合惩戒智能平台运行可能产生的负面后果承担法律责任。

猜你喜欢

惩戒信用主体
忘却歌
论自然人破产法的适用主体
教育惩戒艺术仍值得继续探索
也谈“教育惩戒权”
信用收缩是否结束
教育有时需要一定的惩戒手段
技术创新体系的5个主体
信用中国网
信用中国网
信用消费有多爽?