生成式人工智能(AI)大模型的出现开启了由AI生成内容的新时代。它能够生成各种真实、富有创意的信息，包括文本、图像、音频、视频、代码等。尽管生成式AI已经取得了一定成功，但是在其发展过程中“幻觉”问题开始显现。所谓的“幻觉”即AI生成的内容不存在于现实世界，而是大模型自身想象的产物。例如，面对用户的提问，ChatGPT等工具会杜撰出一些看上去像是权威正确的虚假信息，包括不存在的书籍和研究报告、假的学术论文和法律援引等。这些真假难辨的“幻觉”内容和虚假的“权威”信息开始引发新的问题。

    CCF YOCSEF兰州分论坛在前期调研的基础上，于2023年8月13日在兰州奥体如意华玺酒店六楼黄河厅举办本次论坛，论坛邀请资深学者、领域专家和青年学者共聚一堂，针对论坛议题展开研讨，发表观点。

    论坛首先由CCF YOCSEF兰州现任主席李晓旭详细介绍了中国计算机学会青年计算机科技论坛（CCF YOCSEF）的内涵、精神特质、素质要求和文化等。

    本次技术论坛邀请到中国科学院计算技术研究所数字内容合成与伪造检测实验室主任曹娟研究员，人民网传播内容认知全国重点实验室刘毅研究员，清华大学交互式人工智能课题组龙翀博士作为论坛引导嘉宾， CCF YOCSEF济南主席、山东大学软件学院孟雷教授，CCF YOCSEF哈尔滨主席、哈尔滨工业大学计算学部社会计算与信息检索研究中心副主任冯骁骋副教授，甘肃政法大学网络空间安全学院副院长、CCF兰州秘书长武光利教授作为思辨嘉宾。 CCF YOCSEF兰州AC委员、CCF YOCSEF全国各分论坛AC委员以及来自当地高校、行业、企业的知名专家学者共计近150人参与了本次活动。

    论坛以“生成式大模型‘幻觉’检测技术的实现路径与挑战“为主题，曹娟研究员首先作了题为“伪造检测中的取证和溯源技术”的引导发言，分享了大模型“幻觉”的定义边界以及“幻觉”检测可参考伪造新闻检测的观点。同时介绍了伪造新闻检测的相关技术、展示了数字内容虛假伪造检测系统和设备。曹娟指出大模型的“幻觉”问题可能来自生成机制、模型偏见、信息源错误等多方面原因。但并不是所有的“幻觉”都需要检测，而应在判定其危害程度的基础上进行选择性检测。此外，曹娟认为应该辨证地看待“幻觉”问题，虽然大模型的“幻觉”可能会带来诸多社会问题，但主观式的“幻觉”生成仍有望成为未来信息对抗的有利工具。

    刘毅作了题为“生成式人工智能的应用和治理” 的引导发言，围绕生成式人工智能的机遇与挑战、生成式人工智能的管理要求以及生成式人工智能的发展等问题进行了阐述。刘毅指出在这个信息传播技术飞速发展的时代，“幻觉”信息一旦生成即已构成其传播的风险。因此，在主流价值观的传播监管方面应从语料库建设着手，力争从根本上治理该领域可能存在的生成式“幻觉”问题。此外，刘毅认为由AI治理AI将成为未来生成式内容监管和治理的重要抓手。

    龙翀作了题为“大模型安全性研究”的引导发言，针对大模型生成内容的安全性进行了介绍，分享了大模型生成的有害建议、情感冒犯、隐私泄漏等问题的观点及解决方案。龙翀指出跨文化差异及语料库资料的不平衡造成了不当内容的生成。因此，如何评估大模型的安全性，构建面向大模型的有效攻防体系是检测大模型内容安全性的关键。随后，论坛与会嘉宾围绕三个议题进行了深入思辨讨论，并发表了相应观点。

思辨议题1：现阶段大模型生成的“幻觉”内容检测面临哪些挑战？

“幻觉”如何界定是实现其检测的首要问题。“幻觉”的界定首先应明确其来自哪里、“幻觉”究竟是系统性的问题还是偶发性问题。与会专家指出数据标注未对齐、AI算法学习全局信息的能力受限、外部信息干扰等都是产生“幻觉”的可能原因。因此，“幻觉”的出现并非偶发，而是大模型训练过程中的必然产物。专家们还认为应根据人文、社会、自然科学等领域对“幻觉”进行界定，依照其产生的目的和场景等形成较为准确的“幻觉”的定义。对于一些有利的“幻觉”应适当宽容。而涉及大模型意识形态、价值取向等的问题并不属于“幻觉”范畴，应从幻觉的定义中分离出来。

缺乏高质量数据库是“幻觉”检测面临的重要挑战。由于很多“幻觉”内容并非主观造假，这就需要让AI正确认识什么是“幻觉”。因此，构建面向“幻觉”内容的数据集并形成高质量的标注就显得尤为重要。与会专家普遍认为缺乏“幻觉”信息库是当下面临的主要挑战。由于信息库的建设短期内实现难度较大，专家建议将知识库限定在诸如法律、医疗等特定领域，并对场景进行分类，建立不同场景下的数据集，然后在现有方法的基础上讨论具体的技术细节。

思辨议题2：目前可应用于“幻觉”内容检测的技术及其局限性。

“幻觉”检测的本质是事实检测。与会专家认为 “幻觉”检测的本质实际就是看大模型生成的事实有没有错误，因此可采用事实检测的手段和方法进行“幻觉”内容检测。在此基础上，应对“幻觉”进行细分，例如：可分为推理性-常识性“幻觉”或内部-外部“幻觉”等，然后针对特定问题采用统计模型、强化学习、多模型投票等方式进行检测。另一方面，采用高质量的人工标注数据来更新模型也是一种有效的途径。

现有技术的局限性。专家普遍认为缺乏“幻觉”内容的量化和评价指标从技术层面限制了“幻觉”的检测能力。虽然通过语义相似度等传统度量可以解决一些通用检测问题，但可能在特定任务上效果十分有限。因此迫切需要研究针对“幻觉”的特定评价指标。另一方面，目前讨论“幻觉”检测的前提是开源大模型，而一旦模型是闭源的，其技术局限将难以估量。此外，技术的适用性和道德法律认可也是应当关注的问题。

思辨议题3：如何构建面向生成式大模型“幻觉”内容检测的有效技术方案？

插件式检测还是 AI对抗AI？通过本次讨论，专家们凝练出了两种通用的“幻觉”检测技术方案，即插件式检测和AI对抗AI。所谓插件式检测是指通过构建一个或多个外插式的小型检测模块，采用知识库、搜索引擎等方法进行特定内容的匹配，从而约束大模型的输出。AI对抗AI的路线则是通过训练一个更大的通用模型对原本的输出内容进行评估，这种方法的优势在于具备较好的泛化性和学习能力。尽管两种方案在实施路线上区别较大，但均应建立在具备完善的领域属性、知识库、算法和评估标准的基础上。

     从“垂直”走向“通用”。“幻觉”检测受领域知识的影响较大，短期内难以构建通用的基础检测模型。因此对于技术方案的实施，与会专家建议可以先构建针对具体领域的垂直模型，以实际问题来修正解决方案。比如基于国内的一些成熟的领域数据集来探索可行的路径，然后将技术铺开到其它领域，最终形成“幻觉”的通用检测路线。会议最后，专家们将讨论范围设定在法律文书这一应用场景，进一步探讨了该场景下“幻觉”检测的具体实施方案。

    最后， CCF YOCSEF兰州现任主席李晓旭就主题为“生成式大模型‘幻觉’检测技术的实现路径与挑战”技术论坛进行了总结发言。

      CCF YOCSEF兰州学术秘书李子荣（兰州财经大学）CCF YOCSEF兰州AC委员郑炜豪（兰州大学），共同担任本次论坛的执行主席。

    感谢参与本次论坛的各位嘉宾和参会者、兰州本地高校以及本地企业对本次活动的大力支持。