□肖梦黎

（1.华东政法大学 法律学院，上海201620；2.华东理工大学 法学院，上海200237）

一、问题的提出

我们每个人都被各种各样的算法所笼罩，各种超级平台收集着我们的身份信息、联系人信息、违法信息、生物数据甚至政治评论，点击“拒绝”即无法访问。算法形成了“全景敞式”的权力，每个普通人都在被“一种不间断的书写日夜跟踪”[1](p215)。在工作招聘、申请教育机会、信贷额度、绿卡排期甚至是犯罪预测中[2](p674-671)，算法的自动决策无处不在。算法的核心是基于现有行为对用户的未来行为进行预测，赋予相对人以数字人格，对其未来的机会产生影响[3](p37)。通过不同企业与政府主体间数据库的购买与算法判断的导入构成了算法使用的扩散，并可能导致一种人们尽力使自己的生活方式符合算法的新模式，从而最终形成了算法对人类社会的规训。

随着算法工具化与算法行政不断扩展的趋势，自动化决策中隐含的算法歧视会产生波纹式的扩大影响。算法与经济社会深度融合，从自动驾驶、信用评级到司法裁判中的应用，逐渐成为一种自带判断的区分方式[4](p181-182)。算法当然会存在偏见：一方面，算法使用的大量数据本就来源于社会本身，这种镜像式的结构自然也会将社会中的歧视与偏见如实地带入算法。比如当贷款公司将征信系统的数据分析源逐渐拓展到淘宝、eBay等的交易评价、微博与Facebook的好友人数以及LinkedIn的人脉对象时，居住在富裕板块的人会更容易获得贷款，而女性申请者则会获得较低的额度①美国Movenbank，国内支付宝的花呗、京东白条等都在应用此类技术。……