复旦等单位领衔、众企云集助力,《人工智能安全标准化白皮书》(2023版)隆重推出

发布者:刘智晨发布时间:2023-06-01浏览次数:478

2023年5月29日,由全国信息安全标准化技术委员会大数据安全标准特别工作组发起、共20家单位参与的《人工智能安全标准化白皮书(2023版)》发布。复旦大学作为4个牵头单位之一,与浙大、西交、清华、中科院等高校科研院所,以及商汤、腾讯、华为、阿里、蚂蚁、百度等知名互联网企业,共同完成了该白皮书的编写工作。

  

该白皮书梳理了人工智能安全技术发展背景,分析了人工智能面临的安全风险、国内外政策与标准现状,明确了人工智能安全技术发展的需求和建议,对我国下一步人工智能安全标准化工作具有重要借鉴意义。

在白皮书修订过程中,复旦大学系统软件与安全实验室积极参与上述各项内容的准备、撰写与论证工作,牵头完成了人工智能技术与人工智能安全技术发展背景、发展脉络与应用现状的梳理,并基于实验室已有研究,在人脸识别安全、无人驾驶安全、模型产权保护、生成式人工智能安全等方面提供了标准化的安全实践建议。

实验室已经在人工智能安全领域积累了较为深厚的工作基础,形成了多项优秀成果。

1. 人脸识别安全工作发现了包括支付宝、微信在内的众多人脸识别应用的漏洞,论文发表在网安四大会IEEE S&P 2023,并获得了国家级漏洞库CNVD颁发的年度最具价值漏洞奖(从约30万漏洞中选10、且排名第一,见1)。

2. 在自动驾驶安全领域,团队自主研发了面向高阶无人驾驶系统的预期功能安全测试平台“白泽-ADSGuard”,发现了数十类严重的安全缺陷,相关成果发表在网安顶会USENIX Security 2023,并连续两年斩获国际黑客大会DEFCON AutoDriving CTF(自动驾驶安全攻防竞赛)冠军见2)。

白泽-ADSGuard无人驾驶安全评测平台框架图

3. 在模型产权保护领域,团队依托发表在包括USENIX Security、KDD、NeurIPS等网络安全和AI顶会的多项自研成果,研发了首个可验证、可追溯、可反制的人工智能模型产权保护平台“复旦白泽-直辨兽平台”,提供AI模型的版权信息嵌入、模型API防窃取、盗版模型追溯与验证三大类模型产权保护工具,多种新型指纹追溯技术在实际应用中的鲁棒性和准确度上远超国际通用基线指标。

人工智能产权保护平台白泽-直辩兽架构图

4. 在大模型安全领域,团队揭示了以BERT(Google)、GPT系列(OpenAI)为代表的大语言模型的隐私风险(可从深度表征信息中还原明文)和后门漏洞(基于特定语言风格可100%触发),受到谷歌、苹果、OpenAI等机构的报道和关注,研究成果发表于网安顶会IEEE S&P和USENIX Security,并获评2022年世界人工智能大会WAIC青年优秀论文提名奖

目前,实验室正基于已有研究基础,在科技部重点研发计划等重大项目支持下,积极开展人工智能安全在多个领域的研究,并和中国电子技术标准化研究院、中国网络安全审查技术与认证中心等监管机构,以及互联网龙头和安全龙头企业形成了良好的合作机制,未来有望产生更多创新型成果。

实验室的杨珉、张谧、张晓寒、潘旭东、戴嘉润等老师参与了白皮书修订工作,该白皮书发表在全国信息安全标准化技术委员会2023年第一次标准周“人工智能安全与标准研讨会”上。白皮书官方链接为https://www.tc260.org.cn/upload/2023-05-31/1685501487351066337.pdf