7月8日至10日，2021世界人工智能大会在上海召开。在拥有比较成熟的产业技术和商业模式的基础上，上海还应致力于人工智能的安全漏洞风险防范，全方位建设真正意义上的人工智能高地。

加紧制定通用安全标准

提案方     赵柏基  上海市政协委员

背景情况            从自动驾驶到智能安防，从语音助手到虚拟现实，人工智能技术正在迅速发展，潜力巨大。习近平总书记在十九届中央政治局第九次集体学习时明确指出，要加强人工智能发展的潜在风险研判和防范，维护人民利益和国家安全，确保人工智能安全、可靠、可控。

问题及分析      众多科技巨头先后在上海设立功能型总部和研发中心，一大批国内外人工智能头部企业的落户，汇聚了权威专家资源，为上海在人工智能安全治理方面的先行先试提供了良好的土壤。隨着人工智能落地场景的增多，使用范围的扩大，一系列系统性风险也逐渐浮出水面。

1.合规风险。数据是人工智能的基础，在应用人工智能时，企业需要满足包括数据收集、隐私保护在内的各项合规要求。然而，目前针对人工智能的合规要求散见于数据安全和隐私保护等领域，不够集中和清晰，存在很多“灰色地带”，暗藏风险。例如，2017年，谷歌旗下的人工智能子公司DeepMind所开发的移动应用Streams，因收集患者医疗病历被英国信息委员会裁定违反了英国数据保护法;2019年8月，瑞典北部的谢莱夫特奥市政府因允许该市某高中试用人脸识别技术进行考勤，被瑞典数据保护局以违反欧盟《通用数据保护条例》（GDPR）为由处以罚款。

2.道德、诚信风险。人工智能算法在决策时可能产生的偏见和歧视，以及引起的更复杂的诚信问题，是目前人工智能应用当中比较突出的道德和诚信风险。例如，美国某些地区的司法部门使用人脸识别系统（COMPAS）来预测罪犯再次犯罪的概率，并以此决定是否批准保释或假释。但从预测结果来看，被错误标记为“高风险”的黑人数量几乎是白人的两倍，而在真正实施再犯罪的人群中，被错误标记为“低风险”的白人数量是黑人的两倍。

3.安全风险。人工智能应用的功能虽然强大，但安全应当始终被放在首要位置。尤其当人工智能被应用于自动驾驶、医疗、工业控制等与人身安全直接相关的领域更是如此。现阶段，我国的安全标准大多在应用安全领域，还缺乏人工智能自身的基础性安全标准。

4.“黑箱”风险。人工智能的决策过程就像“黑箱”，其决策的逻辑和依据的不可解释性，直接影响人工智能模型的试错成本和可信度。例如，对应用在自动驾驶汽车中的神经网络来说，行人和路牌之间存在什么样的差异？人工智能的哪个决策阶段能够发现两者的区别？只有深入了解这一过程，才能有效避免错误。目前，多数的人工智能系统还缺乏有效的机制，让人们完整理解其推理过程。

5.管控风险。人工智能的应用具备动态和自适应的特征，一旦在某一领域落地，发展会很迅速。如果治理和管控不力，将令政府和企业在应用人工智能时遇到各种想象不到的问题，甚至造成严重的社会危害。

    建议            

1.尽快制定人工智能通用安全标准。可由上海市经济和信息化委员会牵头，组织调研，邀请企业、审计机构等共同参与标准的制定，形成可落地、可审计的人工智能通用安全标准，并针对各应用场景的技术特点，分别提出安全要求，形成“通用+扩展”的安全标准体系。

2.针对关键人工智能系统和应用开展安全评估，形成行业准入机制，保障国家安全、社会稳定与公众利益。上海在全国率先发布了人工智能应用场景建设实施计划。应用场景的落地是人工智能相关行业大规模商用的前奏。建议针对人工智能试点应用场景先行试用安全标准，通过独立的、具有公信力的机构进行安全评估，充分验证相关标准的可落地性、可审计性，积累经验。待时机成熟，可将其作为具有一定强制力的安全标准向相关行业全面推广，为政府部门及监管机构严把人工智能风险关，也为企业落地人工智能应用提供安全保障和准入依据。

3.积极参与制定国际人工智能安全与伦理道德标准，争取话语权。目前，世界各国政府和监管机构都非常关注人工智能的安全风险。德国政府与大型专业机构合作，共同制定人工智能通用安全审计标准。英国信息专员办公室（ICO）发布了制定人工智能审计框架的计划，并公开征求建议，获得多个国家监管机构和行业组织的积极响应。诸如此类的国际协作和国际智慧，对于上海探索自身的人工智能安全标准具有很高的参考价值，应积极参与，向世界展示人工智能风险防范的“上海方案”。

大力推动人工智能产业发展

提案方     王俊  沈永铭   上海市政协委员

背景情况          上海作为新时代改革开放的排头兵、创新发展的先行者，其人工智能科技和产业位列全国第一梯队。但不可否认，与国际顶级城市相比，上海还存在不小的差距，需要加快整合资源，聚集力量，实现重点突破。

   问题及分析      

1.本地领军企业缺乏。人工智能作为高科技产业，初期主要依靠领军企业带动。当前在上海开疆拓土的人工智能领军企业几乎都是外地企业和外国企业，其研发核心、成果和生态往往不在上海，只是更多地将应用场景选在上海。

2.“硬科技”实力不足。目前，上海的人工智能企业大多集中在应用场景的挖掘和融合层面，在技术研发和突破方面还有待改进。尤其在底层芯片技术、传感器硬件、算法等“硬科技”层面，整体实力不足。

3.产业发展生态缺失。前沿科技创新大都依靠小微企业、市场化人才不断地创新、创业。一味要求高大上、国际化、高科技、高起点，不利于鼓励创新。

4.针对性支持政策缺位。一是上海的人才引进政策缺乏与人工智能领域人才的对应性。二是上海现行金融扶持政策的对象以大型成熟企业为主，对于多是小微型、初创型的人工智能企业来说缺乏力度和精准度。

5.数据隐私保护政策欠缺。人工智能领域关于数据隐私保护的政策尚不明确，用户常因大数据的安全担忧，在一定程度上影响了人工智能行业快速发展。

    建议            

1.聚焦重点区域，孵化、扶持一批潜力企业，培育一批头部企业，积极抢占产业制高点。抓紧在上海自贸试验区临港新片区出台人工智能产业发展配套支持政策，全产业链集聚、整合资源。

2.聚焦关键环节，发布鼓励清单，力争在核心技术上有所突破，在某些环节形成领先优势。政府部门应加强与上海人工智能发展联盟等行业组织的沟通，适时列出鼓励清单，明确重点关注的关键环节，如人工智能芯片、传感器、核心算法等方面，集中资金、资源、政策，加快推动实现突破性发展。

3.聚焦重点场景，发挥超大城市应用需求广泛的优势，着力产业发展，营造良好环境。充分利用上海的资源优势，抓住长三角一体化示范区建设的重大机遇，发挥超大城市和长三角的优势，在更大范围内大力推进人工智能应用，替代传统发展模式，为产业发展提供更广阔的平台和更优化的营商环境。

4.聚焦重点人才，精准施策，形成有针对性的扶助人工智能科技和产业的人才支持政策。

5.聚焦产业生态，大胆“松绑”，营造环境。政府有关部门积极研究探索兼顾企业创新与隐私保护的引导性政策，使得人工智能产业能够长期健康发展。

编辑：姚志刚 winter-yao@163.com