建设人工智能安全常态测评机制 促进大模型产业持续智能向善发展
我实验室杨珉老师与潘旭东老师在《中国网信》杂志2024年第9期上发表题为《建设人工智能安全常态测评机制 促进大模型产业持续智能向善发展》文章。《中国网信》杂志是由中央网信办(国家网信办)主管、中国网络空间研究院主办的全国网信工作指导性刊物。
我实验室杨珉老师与潘旭东老师在《中国网信》杂志2024年第9期上发表题为《建设人工智能安全常态测评机制 促进大模型产业持续智能向善发展》文章。《中国网信》杂志是由中央网信办(国家网信办)主管、中国网络空间研究院主办的全国网信工作指导性刊物。
复旦白泽天梯赛第二弹:核心价值观专项赛结果
2024年7月15日至19日,软件工程领域最具有影响力,历史最悠久的国际旗舰学术会议之一 FSE(CCF A类)将在巴西召开。复旦大学系统软件与安全实验室在移动安全领域的最新研究成果“Component Security Ten Years Later An Empirical Study of Cross-Layer Threats in Real-World Mobile Applications”荣获2024年度FSE杰出论文奖(ACM SIGSOFT Distinguished Paper Award)。
持续监测大模型安全水位,复旦白泽一直都在。我们始终相信,持续研发安全基准测试集和披露安全评测结果可在大模型合规领域引起“鲶鱼效应”,对帮助国内AI大模型厂商迭代提升合规能力具有重要意义。为此,我们发布2024年夏季版安全基准测试集,面向国内外大模型厂商开启常态化复旦白泽天梯挑战!
2024年6月17日,来自上海科技大学的助理教授陈宇奇老师来到复旦大学江湾校区交叉二号学科楼,分享了题为“ACAV:A Framework for Automatic Causality Analysis in Autonomous Vehicle Accident Recordings”的讲座。
2024年6月3日,来自俄亥俄州立大学的博士生杨宇清来到复旦大学江湾校区二号交叉学科楼,分享了题为“Decoding the Threat Model of Mobile Super Apps”的讲座。
史一哲同学目前是我们实验室二年级的硕士研究生,主要从事软件代码安全分析,由于各方面表现突出,经过一系列的选拔和考核,已经确定将于2023年9月正式转博。
李帅同学是在获得硕士学位后,于2019年加入本实验室的,目前正在攻读网络空间安全专业的博士学位,担任带组博士已有几年的时间。其主要研究方向涉及移动隐私安全与合规等,研究兴趣重点关注于隐私全生命周期环节内的安全与合规问题,发现了一系列具有重大影响力的安全漏洞与违规风险,获Opera等国际知名厂商的认可与致谢,相关研究成果发表于IEEE S&P、CCS、Usenix Security等知名国际会议。
杨悉瑜,本科毕业于暨南大学,自2019年入学加入复旦白泽起,就踏上了硕士学习的征程。在这段学术道路上,她以坚定的步伐和不懈的努力,逐步成长为复旦白泽内核研究方向的重要支柱。
施游堃,本科毕业于中国矿业大学,本科毕业时被保送至复旦读研,是实验室2019级的硕博连读生。他的主要研究方向为Web应用安全攻防技术,特别在开源软件漏洞的自动化检测和修复领域做出了重要贡献。
实验室杨珉教授、张谧教授参与制订的全国网络安全标准化技术委员会技术文件TC260-003《生成式人工智能服务安全基本要求》发布。
2023年12月12日下午,国家重点研发项目“网络空间安全治理”重点专项 “移动应用隐私收集行为的分析检测技术及应用示范”项目的专题研讨会在北京市海淀区百度科技园召开。
近日,复旦白泽智能发布大模型靶向式安全评测平台JADE之后,收到包括华为、百度、阿里、荣耀、vivo、理想、中信等众多知名企业的合作意向,表明AI与安全领域同行对大模型安全合规问题的高度重视。众多厂商纷纷表示希望借助JADE的能力,评测国内大模型的安全水位。在此,小白泽们对大家的关注表示衷心感谢。
2023年11月8日,来自南洋理工大学的博士生刘艺来到复旦大学江湾校区交叉二号学科楼,分享了题为“Prompt Engineering-based LLM Security”的讲座。
2023年10月31日,国家重点研发项目“网络空间安全治理”重点专项 “移动应用隐私收集行为的分析检测技术及应用示范”项目的专题研讨会在湖南长沙延年城际酒店召开。
近日,复旦白泽智能团队提出大模型靶向式安全评测平台——JADE, 同时攻破包括ChatGPT、LLaMA2等在内的十余款国内外知名大模型,违规率超70%。
为深入贯彻落实党的二十大精神和习近平总书记系列重要讲话指示精神,落实《复旦大学“时代新人铸魂工程”实施方案》要求,10月20日下午,学校课程思政教学研究中心会议暨课程思政骨干教师培训班举行。各院系相关领导、学校课程思政标杆课程负责人、学校课程思政教育教学改革研究优秀课题负责人、课程思政骨干教师代表等参会。会议由教务处副处长徐珂主持,学校课程思政教学研究中心主任、副校长徐雷参会并讲话。会议表彰了2022-2023年度学校课程思政标杆课程、2022年度学校课程思政教育教学改革研究优秀课题。
2023年8月25日,来自UCI(加州大学尔湾分校)的助理教授陈齐老师来到了复旦大学江湾校区交叉二号学科楼,分享了题为“On the Cyber-Physical Security of Emerging AI-Enabled Autonomous Cyber-Physical Systems“的讲座。
2023年7月25日,明尼苏达大学双城分校副教授卢康杰老师来到复旦大学江湾校区二号交叉学科楼,分享了题为“Principled and Practical Approaches to Secure Open-Source Systems and Beyond”的讲座。
2023年7月14日, UCLA助理教授田园老师来到复旦大学江湾校区二号交叉学科楼,分享了题为“Towards Regulated Secure and Privacy-Preserving Computing Platforms”的讲座。
023年5月29日,由全国信息安全标准化技术委员会大数据安全标准特别工作组发起、共20家单位参与的《人工智能安全标准化白皮书(2023版)》发布。复旦大学作为4个牵头单位之一,与浙大、西交、清华、中科院等高校科研院所,以及商汤、腾讯、华为、阿里、蚂蚁、百度等知名互联网企业,共同完成了该白皮书的编写工作。
2023年5月25日,国家重点研发项目“网络空间安全治理”重点专项—“移动应用隐私收集行为的分析检测技术及应用示范”项目推进会在复旦大学江湾校区二号交叉学科楼E1019召开。
2023年夏,系统软件与安全实验室欢送丁岱宗博士、潘旭东博士、戴嘉润博士,盛钡娜、毛硕、叶瀚、洪文正、杜小林、曹家俊6位硕士同学离开校园,开启人生新篇章。杨珉老师代表实验室师生送上祝福,祝愿同学们前程似锦,乘风破浪。
2023年2月16日,由中国信息通信研究院、中国电信、中国移动、中国联通、中国铁塔联合主办的“首届ICT软件供应链安全治理论坛暨信息通信软件供应链安全社区第二届成员大会”在北京成功举办。经过领域专家研究论证,由我实验室杨珉教授、张源副教授和谈心博士等人研发的“基于漏洞代码提交关联性排序的开源软件漏洞修复补丁定位方法”荣获“科学研究文献成果奖”。
2022年8月,在举办的网络安全顶会USENIX Security Symposium上,我实验室杨珉教授和张谧教授等人率先提出基于神经元独占状态分析的平均梯度破解算法,实证珍贵训练数据在新型分布式训练模式下存在真实泄漏隐患。
2022年8月,在举办的USENIX安全研讨会(USENIX Security Symposium)中,复旦大学计算机科学技术学院的杨珉教授和张谧教授等人率先提出基于文本风格的隐式NLP模型后门攻击技术,能有效绕过几乎所有已知后门检测方法。
2022年8月,在举办的数据挖掘顶会ACM SIGKDD Conference on Knowledge Discovery and Data Mining上,我实验室的杨珉教授和张谧教授等师生将现有仅能应用于分类模型的指纹追溯技术普遍化,提出一种深度学习模型产权追溯通用方法,首次在千级嫌疑模型库上实现100%的盗版模型识别准确度。
近日,我实验室荣获网络安全国际顶尖学术会议31st USENIX Security Symposium杰出论文奖(Distinguished Paper Award),这也是该会议创办31年来大陆高校第一次获此殊荣。该奖项竞争非常激烈,由评审委员会从256篇录用论文中遴选产生(本年度会议投稿总计1414篇,录用率不到19%)。
近日,实验室杨珉教授接连出席两场国内AI安全峰会——BCS AI 2022和ISC 2022,并做重要报告。BCS AI全称是“北京网络安全大会AI安全论坛”,2022年由奇安信和百度安全联合主办、OASES智能终端安全生态联盟协办。ISC全称为“第十届互联网安全大会”,2022年由中国人工智能学会主办,中国人工智能学会人工智能与安全专业委员会、360政企安全集团承办。
桃李之心,春风化雨,一年一度的复旦大学本科毕业生“我心目中的好老师”评选圆满落下帷幕。经各院系毕业生推选、网上微信巡展、终审委员会评审等环节,评选出10名“我心目中的好老师”,22名“我心目中的好老师”提名奖。我实验室朱东来老师获复旦大学2022届本科毕业生“我心目中的好老师”提名奖。
6月4日,由InForSec主办,清华大学(网络研究院)-奇安信联合研究中心、复旦大学系统软件与安全实验室承办,中国科学院计算技术研究所计算机体系结构国家重点实验室、中国科学院软件研究所可信计算与信息保障实验室、百度安全、奇安信集团、蚂蚁集团、阿里安全协办的“网络安全四大顶会研究成果分享”之“移动互联网安全”(二)论坛在线上成功召开。本次会议由复旦大学副教授张源主持,共77人参加会议。我实验室廉轲轲博士参与了本次会议,并就其近期的研究工作做了报告,报告标题为《安卓系统服务数据存储机制安全分析》。
2022年5月14日,国家重点研发项目“网络空间安全治理”重点专项—“移动应用隐私收集行为的分析检测技术及应用示范”项目启动暨实施方案论证汇报在线上召开。项目由复旦大学牵头,负责人为杨珉教授,参与单位包括暨南大学、北京百度网讯科技有限公司、中国电子技术标准化研究院、中国网络安全审查技术与认证中心、武汉大学、湘潭大学、北京安天网络安全技术有限公司、华为技术有限公司。