生成式人工智能对于人类认知的影响不断增强和延伸，例如，提供虚假错误信息、展现歧视性或侵略性观点、隐私保护问题等。在认知安全维度，美国政治风险咨询公司欧亚集团在其2023年全球风险指数报告中将生成式人工智能称为“大规模干扰性武器”。面对这些潜在的安全威胁，如何确保人工智能的认知安全成为了全球关注的焦点。为了深入探讨这一重要议题，2024 年5月18日下午，CCF青年精英大会(YEF2024)——“生成式人工智能对认知安全的影响”博学堂论坛于宁波市海曙区南苑饭店世纪厅顺利举行。

本次论坛由中国计算机学会主办，并由CCF YOCSEF哈尔滨承办，YOCSEF哈尔滨23-24主席、哈尔滨工业大学冯骁骋教授担任执行主席，东北林业大学计算机与控制工程学院张春龙副教授担任共同执行主席。论坛邀请了来自复旦大学的张奇教授、科大讯飞副总裁兼讯飞研究院执行院长王士进博士、哈尔滨工业大学（深圳）的高翠芸副教授以及腾讯朱雀实验室的唐梦云高级工程师作为嘉宾。

YOCSEF哈尔滨主席东北林业大学李洋、黑龙江科技大学王妍玮、武国庆，哈尔滨师范大学刘靖宇，广东大学周唐、梁旻贤、李旻浩，浙江大学包云泰，武汉理工大学钟欣，香港科技大学秦海龙，新疆师范大学刘滢，暨南大学甘文生，上海理工大学张冰雪，中南财经政法大学杨娜以及来自全国高校、科研院所和企事业单位的50多人参加了本次论坛。

图1引导发言嘉宾

论坛开始，冯骁骋教授对论坛的背景和议程进行了介绍。

图2 冯骁骋介绍论坛背景

图3张春龙介绍引导报告嘉宾

随后，张春龙副教授主持报告环节。张奇教授以“大语言模型是实现AGI的必由之路吗”为题，介绍了大语言模型的最新发展趋势及其在实现通用人工智能（AGI）中的潜力与挑战，报告中指出“演绎推理做为单独任务可以优化，演绎推理能力在其他任务中并不能自动获得，是否具备归纳推理能力需要仔细思考”并提出了将“统一多模态大模型、长文档阅读理解和大模型解释与评价”作为2024年的三个重要研究方向。

图4张奇教授作引导报告

科大讯飞副总裁兼讯飞研究院执行院长王士进博士以“讯飞认知智能大模型进展及安全实践”为主题，分享了科大讯飞在认知智能领域的最新科研成果及其面临的安全挑战，指出大模型达到理想好用和安全状态还需要进一步的技术阶跃。

图5王士进博士作引导报告

哈尔滨工业大学高翠芸副教授以 “代码大模型中数据安全的‘攻’与‘防’”为题，强调了在AI应用中保障数据安全的重要性及相关策略，探讨了代码大模型在训练、推理、甚至是部署后都会存在持续的数据安全问题，以及作为模型知识产权的拥有者，防御方应充分保护其价值。

图6高翠芸副教授作引导报告

最后，腾讯朱雀实验室的唐梦云高级工程师则从实际操作角度出发，介绍了“大模型与安全”中遇到的具体问题及解决方案，提出了多项针对大模型安全的新技术和方法。

图7唐梦云高级工程师作引导报告

在引导报告结束后，论坛进入了Panel环节，由冯骁骋教授主持。与会专家围绕“生成式人工智能模型下的“奥本海默纠结”，“人”和“模型”哪一个才是风险主体，应该如何约束？”、“生成式人工智能模型日新月异，在认知安全风险上可能会出现哪些新的挑战？我们应该如何面对？”和“AI安全治理中政府、企业、学术界的责任分别是什么，应当如何协同推进AI向善？”三个议题展开了深入思辨。通过思辨探索了如何利用AI技术提升信息安全水平，并讨论了面对日益复杂的网络安全威胁，学术界和工业界如何协同合作，共同推动认知安全技术的发展。

图8 现场热议

针对议题一，张奇认为人是风险的主体。因此，大模型的使用需要收到管控。但管控的力度应根据模型类型的不同而有所差别。对功能强大的多模态模型需要加强管控。高翠芸认为人是决定模型安全的主导因素。人在模型训练中占据主导因素。唐梦云认为模型是由人设计的，模型的数据也是由人处理的。因此，人需要承担保证模型安全的责任。针对第二个议题，高翠芸认为生成式模型在生成内容鉴定问题、隐私保护问题、大模型的价值和责任观三个方面存在挑战。应对相应挑战需要通过试错不断完善。这些挑战的应对需要全社会中各方的共同努力。唐梦云认为大模型领域会在未来源源不断的出现。当前的技术无法实现快速的处理。应对大模型的风险应在大模型研发和使用的各阶段采取相应措施。针对第三个议题，张奇认为大模型的研究需要受到伦理学的监控。这需要心理学和其它社会科学的支持。高翠芸认为在大模型的使用上，未来将出现各行业交叉的情况。因此，全社会应群策群力找到最佳的大模型使用方案，从而保证大模型的安心使用。唐梦云认为政府、企业、学术界应各司其职做好相关工作。其它与会嘉宾也就各议题表达的自己的观点，并做了热烈的讨论。

最后，冯骁骋教授对此次论坛进行了总结。他强调了生成式人工智能对认知安全的影响，以及如何促进其有序向善发展的重要性。本次论坛不仅提供了一个高水平的学术交流平台，而且促进了产学研用的深度融合，对推动AGI认知安全领域发展具有重要意义。

图9冯骁骋教授进行论坛总结

图10与会嘉宾合影