YOCSEF西安举办CNCC 2023“大模型驱动网络安全新未来”论坛

    2023年10月27日，CNCC 2023大模型驱动网络安全新未来论坛在沈阳新世界博览馆5层会议室509顺利举行。

   论坛观点速递：

n 以AI对抗AI是大模型驱动网络安全新未来的重要趋势。对于数据安全，大模型涉及更多隐私、知识产权问题，安全风险在大模型中被放大，但过度考虑安全也会抑制大模型的发展潜力。

n 学术界面向技术深度与新颖性，更关注模型安全，如隐私数据泄露、模型窃取、数据重构，而产业界更多从用户体验角度考虑实际风险的影响，如prompt injection和跨模态Agents有关风险。

n 模型安全可分为近卫、护卫和自卫三阶段。当前大模型安全主要聚焦近卫和护卫阶段。从推理安全、底层架构安全等角度切入提升自卫能力有望解决相当一部分安全问题，但存在诸多挑战。

本次论坛由CCF YOCSEF西安主席、西安交通大学教授马小博和网安防护北京市重点实验室总工、中国科学院信息工程研究所正高级工程师刘玉岭主持，邀请著名专家学者、企业主管等嘉宾出席，围绕“大模型驱动网络安全新未来”主题进行探讨，从AI系统安全研究与实践、大模型技术发展与安全思考、生成式人工智能与可证明安全隐写、探索视觉大模型安全、AI大模型的安全与隐私风险等方面探讨存在的问题与挑战。

论坛主席马小博教授在会议主持中提到，大模型驱动网络安全产品，赋予安全人员前所未有的能力，但也面临规则遵守、隐私泄露和产权保护等挑战。随着大模型技术的迅速发展，攻击者也开始利用大模型快速构建攻击工具，如大模型生成钓鱼邮件、挖掘零日漏洞、生成恶意代码，在持续升级的网络攻防对抗中，以AI对抗AI是未来网络安全领域的重要趋势。

论坛的第一位讲者是360集团AI安全实验室负责人邹权臣，他的报告题目是《AI系统安全研究与实践》。随着人工智能大模型技术的飞速发展，AI系统的应用范围和规模不断扩大，AI系统面临多维度的安全风险。为此，报告探讨了软件生态链安全、算法与模型安全风险，并介绍了AISE人工智能系统安全检测平台。最后，邹权臣表示，AI安全需要产学研界合作努力，不断提升人工智能技术的安全性、可靠性、可控性、公平性。

第二位讲者是清华大学自动化系陶建华教授，他的报告题目是《大模型技术发展与安全思考》。近年来，人工智能大模型技术展现出了出色的自然语言理解、音视频分析和多模态内容生成能力，成为跨学科、多场景、多用途的通用底座。大模型技术已开始在各种领域中初步应用，然而目前依然存在输出结果可信性不足、稳定性不强的问题，同时大模型的安全性也存在着诸多挑战，对其应用的可靠性形成了一定的影响。为此，报告针对如何解决大模型的可信性和安全性等问题探讨了解决方案。

第三位讲者是中国科学技术大学网络空间安全学院执行院长俞能海教授，报告题目为《生成式人工智能与可证明安全隐写》。传统针对自然数据的数字隐写技术因数据分布难以刻画，局限在经验安全范畴。以ChatGPT为代表的生成式人工智能技术快速发展，生成数据在互联网上广泛传播，给数字隐写带来新的伪装环境，更重要的是生成式人工智能技术给数字隐写带来新的技术手段。报告主要介绍了生成式人工智能技术发展及其带来的数据技术优势，探讨了基于生成式人工智能的可证明安全隐写方法与应用。

接下来，中国科学院自动化研究所研究员赫然带来了题为《探索视觉大模型安全》的报告，他表示，生成式预训练模型可生成内容种类多、真实感强能，已被多国重点布局。然而，生成式人工智能的挑战也日益凸显，如偏见、AI诈骗、信息泄露等，受到社会各界持续高度关注。针对视觉大模型合成和鉴别对抗，进行了详细的关键技术介绍和未来展望，视觉内容生成服务规管将进一步加强。

最后一位讲者是西安交通大学沈超教授，他的报告是《AI大模型的安全与隐私风险》。近些年，以GPT为首的大模型技术开启了AI研究的新纪元，然而在美好的大模型蓝图下，攻击者也可能利用大模型的脆弱性对个人安全、社会安全、乃至国家安全带来严重的威胁。报告从大模型的保密性、完整性、隐私性三个角度出发，分析AI模型安全与隐私在大模型时代的各种挑战，探讨大模型的隐私泄漏、模型窃取、对抗攻击、后门威胁、输出安全以及公平性与偏见等热门研究问题，旨在发现并分析大模型安全和隐私风险，推动大模型安全应用与可持续发展。

最后，论坛的Panel环节由马小博教授和刘玉岭正高级工程师主持，聚焦于大模型驱动网络安全新未来的相关问题进行交流，探讨大模型的本身是否安全以及能否进一步推动安全领域的发展。安全的发展既依赖于新的安全技术发展，也受限于新技术本身引入的安全问题。为此，陶建华、俞能海、赫然、沈超、邹权臣、包沉浮六位嘉宾分别围绕大模型系统与算法安保之“道”，大模型内容与隐私监管之“策”，大模型对安全领域支撑之“术”展开讨论，提供了基于丰富实战背景的技术发展深度见解。

百度安全副总经理包沉浮表示学术界和产业界从不同视角看待问题，学术界更关注模型安全，如隐私数据泄露、模型窃取、数据重构，而产业界更多从实际风险考虑问题，如prompt injection和agent方面的考虑，模型本身越大变得越不可靠，模型安全需要格外重视。360集团AI安全实验室负责人邹权臣博士表示在系统和算法安全方面，访问控制和内容安全也是容易忽略的要点。对于数据安全，大模型涉及更多隐私、知识产权问题，安全风险在大模型中被放大。此外，系统安全离不开基础设施安全，对于大模型系统和软件仍需要开发者和用户经常维护和更新。

陶建华教授表示大模型的初衷是知识提取、推理和生成，大模型应用上具备巨大的潜力需要被挖掘，不只是在生成领域，未来针对大模型安全不只是在攻防对抗研究，也包括底层架构设计方面。俞能海教授建议平衡发展和安全的关系，大模型的研究和发展应该带着安全的思维，已知措施和风险需要考虑到，但过度考虑安全也会抑制大模型的发展。

沈超教授表示模型安全可分为三个阶段，近卫、护卫和自卫，当前大模型安全主要集中于近卫和护卫阶段，如模型修改、结构化调整等，如何提升自卫能力，从推理安全中切入提升自卫能力能够解决大部分安全问题，但当前这部分是一个相对困难的挑战。赫然研究员表示大模型中的伦理、知识产权、监管的问题，政策方面当前更多是政府和国家层面的规范，但在大模型发展和应用过程中还会凸显新的问题，也会有进一步的政策进行约束。这些内容隐私相关的政策，一方面会有约束的限制，但另一方面也会促进大模型向善向好。

因此，对于大模型驱动网络安全新未来而言，大模型安全是产业界和学术界共识的重要问题，需要从数据、模型、低层架构、应用风险等多维度综合考量。此外，大模型在逐步发展和应用的同时，相关监管政策也在逐步跟进完善，促进大模型内容与隐私安全。最后，大模型对于基础设施安全方面也赋予了新的能力和挑战，AI对抗AI或将成为新的攻防手段。