近日，实验室杨珉教授接连出席两场国内AI安全峰会——BCS AI 2022和ISC 2022，并做重要报告。BCS AI全称是“北京网络安全大会AI安全论坛”，2022年由奇安信和百度安全联合主办、OASES智能终端安全生态联盟协办。ISC全称为“第十届互联网安全大会”，2022年由中国人工智能学会主办，中国人工智能学会人工智能与安全专业委员会、360政企安全集团承办。
今年，BCS AI安全论坛邀请了业界顶级专家与世界一流高校的顶尖学者，一同带来了AI安全方面的最新技术进展和落地实践。ISC人工智能与数字安全峰会邀请多位专家学者深入探讨人工智能技术赋能数字安全建设的落地实践及未来发展趋势，建言献策、共谋发展。
实验室杨珉教授在论坛上，以“开放环境中的AI系统安全”为主题，进行了相关报告和分享。在报告中，杨珉教授提出，“未来AI安全的研究方向，不能仅局限于AI模型、AI算法的孤立视角，而应该将AI模型与软件、硬件等所处的系统，以整体性视角来研究其系统安全”。他首先通过人脸识别认证漏洞的例子对上述思路进行了阐释，该漏洞来源于实验室关于人脸识别的系统安全性研究工作，并获得了国家互联网应急中心颁发的“CNVD 2021年最具价值漏洞奖”。该漏洞中，AI算法和模型本身不存在问题，但AI模型所处的系统环境无法保证代码完整性和数据一致性，导致整个系统可被攻击者以极低门槛攻破。
杨珉教授接下来分享了联邦学习系统、自动驾驶系统、机器学习即服务系统等三个典型AI系统中的系统安全研究，通过上述AI系统的三个应用场景，带来了学术界的前沿研究成果，揭示AI模型在开放网络环境的规模化应用中，面临着诸多重大、新型安全风险。杨珉教授指出AI系统安全研究需要融合数理基础和计算机系统这两个跨度很大的技术能力，呼吁全社会高度重视相关人才的培养。
（转载自 复旦白泽战队公众号）