CCF YOCSEF总部举办技术论坛:可信、可控的智能体在行业落地还有多远——关键技术与实践路径
2026-07-09 阅读量:5 小字

随着大模型能力持续演进,AI Agent(智能体)正加速从概念验证走向行业应用。从企业知识服务、业务办理到设备巡检、生产运维,越来越多的智能体开始承担实际业务职责,成为推动产业智能化升级的重要力量。然而,当智能体逐步拥有自主规划、工具调用和持续执行能力后,产业关注的重点也随之发生变化——问题已经不再是智能体能否完成任务,而是如何在可信、可控、安全的前提下完成任务

202674日,由中国计算机学会(CCF)主办、CCF YOCSEF总部承办的技术论坛可信、可控的智能体在行业落地还有多远——关键技术与实践路径在北京举办。本次论坛由CCF YOCSEF总部AC委员刘文懋、赵恺担任执行主席,邀请来自智谱AI、中国科学院工业人工智能研究所、北京邮电大学、中国信息通信研究院等单位的专家学者,围绕智能体行业落地中的关键安全技术展开深入交流,并通过三个思辨议题,对智能体未来规模化应用仍需突破的核心问题进行了系统探讨。


image1

(图片:执行主席开场)


image2

(图片:论坛合影)

能落地迈向敢落地,安全成为智能体规模化应用的重要前提

当前,智能体已经开始从实验室走向真实产业场景,并逐步承担企业业务流程中的实际工作。论坛首先聚焦智能体行业实践,讨论智能体如何真正融入企业生产体系。

引导嘉宾、智谱AI副总裁刘丁枭结合企业实践,介绍了智能体在企业内部与行业实践中的探索。他表示,目前越来越多企业正在围绕岗位职责构建智能体,通过将企业知识、业务流程和工具能力进行整合,使智能体能够承担知识服务、流程办理、业务辅助等具体任务。在部分实践中,智能体的设计和应用甚至更多来自HR、法务等业务部门,而非传统研发团队,体现出智能体正逐步成为连接业务与技术的新载体。

与会专家认为,随着智能体逐渐具备完成复杂业务任务的能力,其应用已经进入新的发展阶段。过去关注的是智能体是否能够完成任务,未来更需要回答的是智能体是否能够安全、可靠、可信地完成任务。安全已经不再是智能体落地后的附加要求,而是决定其能否进入行业核心业务的重要前提。


image3

(图片:刘丁枭发言)

从系统到模型,已有安全能力正持续向智能体演进

当前,智能体已经开始从实验室走向真实产业场景,并逐步承担企业业务流程中的实际工作。引导嘉宾、智谱AI副总裁刘丁枭结合企业实践指出,智能体正逐步成为连接业务与技术的新载体,其设计和应用甚至更多来自HR、法务等业务部门。

与会专家普遍认为,伴随智能体的发展,大量成熟的安全工程能力正在持续迁移至智能体时代。中国科学院工业人工智能研究所副研究员杨鹏飞、北京邮电大学教授张熙、中国信息通信研究院高级业务主管静静分别从基础设施安全、大模型安全和安全评测三个层面分享了当前进展。尽管传统安全技术持续演进,但当智能体进化为拥有自主身份的执行主体时,现有技术体系仍存在尚未有效解决的新挑战。


image4

(图片:杨鹏飞发言)


image5

(图片:张熙发言)


image6

(图片:静静发言)


image7

(图片:现场讨论)

思辨点一:智能体与人的角色定位:如何重塑智能体身份与权限范式?

当一个人能够驱动成千上万个智能体在复杂的工具链中穿梭时,这个智能体代表谁、能做什么、做了之后谁负责,直接决定了企业敢不敢让智能体接触真实业务系统。

关于智能体的身份与权责,与会专家基本达成一致:智能体不能作为独立主体存在,其身份必须与真实的人或组织强绑定。

在企业落地层面,特邀嘉宾、持安科技联合创始人兼CEO何艺从企业实践出发强调了严峻的身份混淆问题:当前大量智能体直接借用人类员工的账号凭证,导致业务系统无法区分操作是来自真人还是智能体。他主张,必须为智能体建立独立的数字身份,并与真实的宿主建立明确的关联。特邀嘉宾、安泉数智北区售前负责人崔英明从风险视角补充了这一判断。他指出,智能体的运行对使用者往往不可见,一旦借用的人类权限凭证被窃取或滥用,攻击者即可为所欲为,而企业甚至连是谁在操作都无法确认。他主张对智能体的管控应当比人类员工更加严苛和精细。

围绕智能体的身份与权责,现场爆发了多维度的观点交锋:

l 身份本质之争与身份混淆湖南大学陈果从工具演进的角度切入,指出智能体核心是工具能否真实反映背后负责人的意图,身份并不独立存在。中国科学院软件研究所宋富亦从法律角度明确,智能体必须代表某个人或组织,由背后群体担责。然而,何艺指出,当前大量智能体借用人类账号,导致业务系统面临严重的身份混淆”]。崔英明补充,为防凭证被窃取滥用,必须为智能体建立独立且与宿主关联的数字身份

l 精细化授权的理论与现实冲突:智谱华章鄢兴雨提出基于能力+场景切分身份,实行身份级任务级双层动态授权。何艺务实反驳:现实中90%以上的企业连业务系统家底都梳理不清,谈最小化授权并不现实;破局之道在于基于流量分析结合任务上下文做动态决策。清华大学王宏宁则进一步追问,技术方案落地的衡量指标与放心的量化标准是什么,将讨论拉回目标定义层面。

l 审批疲劳与安全兜底的博弈:针对高危操作审批,崔英明主张根据影响程度动态决定。哈尔滨工程大学王勇犀利指出,安全与效率没有完美平衡,疲劳正是责任的代价,智能体最终替代不了人来背锅

传统-系统的二维身份模型已不再适用。智能体在责任层面必须归属真实主体,在技术层面亟需建立独立的数字身份与零信任权限体系。而推进这一体系的先决条件是完成智能体的分类分级


image8



image9

(图片:思辨一)

思辨点二:智能体与人的意图对齐:如何构建目标理解、任务规划到动作执行的全链路安全

智能体自主性越强,偏离人类意图的风险就越高。意图如何安全对齐,成为全场争论的另一大焦点。

围绕意图对齐为何困难,现场形成了底层解构与架构批判两种声音:

l 语言模糊与架构缺陷:华南理工大学陈俊颖从语言学角度分析,纯文本交互容易丢失真实意图,必须引入多模态辅助。特邀嘉宾、中国科学院软件研究所研究员宋富则从体系结构指出,大模型本质是指令与数据的紧耦合系统,无法从根源上区分指令与数据,导致意图传递存在天然障碍。

面对无法彻底消除的偏差风险,产业界代表给出了多种务实的工程化解法:

l 纵深防御与工程保守主义:杨鹏飞强调,偏差无法避免,必须通过性能型与系统型手段(如驾驭工程 Harness Engineering)进行纵深防御。华为李强提出工程上的保守主义:企业场景中能用代码工作流解决的绝不交由大模型,完全自主智能体必须关入沙箱。

l 明确交互验证的边界:智谱华章鄢兴雨建议通过多轮澄清+背景说明让模型先理解再行动。但崔英明提醒,频繁询问会导致对话框疲劳并诱发盲目确认;同时,安全合规需求(如国标限制)与内部业务追求效率之间本身也存在不可调和的冲突。

可见,意图偏差无法被完全消灭,只能被持续管理。未来务实路径是四维并行:技术上提升指令区分能力,工程上依赖工作流与沙箱隔离,管理上建立人机协同闭环,演进上以驾驭工程持续修补漏洞。


image10

(图片:思辨二)

思辨三:面向行业特点、业务目标和安全需求,如何建立智能体落地的安全指南?

金融、医疗、工业制造与教育等不同行业,对内容合规、结果可信、业务容错率的安全需求差异极大。在有限预算和技术水平下,行业亟需一套具备指导性的安全落地框架。

特邀嘉宾、百度安全解决方案架构师罗启汉结合互联网公司的场景化实践指出,面向大众的编程智能体必须运行在安全容器中防逃逸,而内部安全评审智能体则需通过多智能体配合实现权限隔离。他强调,智能体安全不能只做单点防护,必须从认证、隔离、可追溯等整个智能体生态架构层面进行系统性设计。宋富建议从数据敏感等级、合规法规要求、业务容错代价等五个维度对智能体进行分级评估,并倡导各行业从低风险小场景先行试点。

多位行业代表分享了垂直场景的人在回路:真术相成唐诗分享了医疗领域通过细化工作流和知识图谱规避幻觉的经验,强调最终签字必须是医生。黑龙江科技大学王妍玮以煤矿场景中抓矸石机械臂失效的案例,探讨了安全边界与现实业务的冲突。首都师范大学唐晓岚则提出,教育产品必须警惕成瘾性,家校陪同的人在回路不可替代。

l 关于分类分级与生态化治理:宋富提出从数据敏感等级、合规要求等五个维度对智能体进行分级评估;特美通传媒孙喜庆也建议从安全性、价值观等六个维度构建可信评价体系。特邀嘉宾、百度安全解决方案架构师罗启汉强调,安全不应是单点防护,必须从整体智能体生态架构层面进行设计,实现多智能体协作隔离。

l 关于职能重塑与多方协同:何艺犀利指出安全团队必须深入理解业务场景,否则无法设计权限策略。有专家提出补充分类分级的决策权不能只落在安全团队手里,而应是业务、合规、管理等多方共同参与的综合判断。


image11

(图片:思辨三)


于此,全场达成分类分级、按场景治理的基本原则。基于药品说明书逻辑,论坛提出了构建智能体全生命周期安全数据表的构想:为每个智能体建立一份涵盖身份成分、能力规格、禁忌限制、运行监测等模块的动态数据记录。这份活文档既是安全治理工具,也是界定责任契约的制度载体。

经过三轮思辨,整场论坛形成了贯穿始终的总体判断: 智能体的可信可控,无法依靠单一技术突破来实现。它是一个系统工程——需要技术层面的纵深防御与工程创新(解决能不能),需要管理层面的分类分级与责任厘清(解决怎么管),也需要制度层面的标准规范与法律约束(解决谁来负责)。三者协同推进,才是智能体真正在行业大规模落地的可行路径。当前,技术已经在快速迭代,管理正在形成共识,制度尚在起步——但方向已经清晰:从养虾热走向治理深水区,是智能体产业走向成熟的必经之路。


image12


最后,CCF YOCSEF现任主席范举表示,本次论坛朝着智能体说明书的方向迈出了有价值的一步,并预告822日将举办关于OPC(一人公司)的观点论坛,欢迎各界同仁持续关注和参与。


热门动态
2025-08-11
CCF YOCSEF 昆明成功举办“小语种·大未来”技术论坛聚焦东南亚与...
2025-12-02
2025年11月22日,中国计算机学会青年计算机科技论坛(CCF YOCSEF...
2025-09-29
承担社会责任 提升成员能力2025年9月6日,CCF YOCSEF合肥顺利举...
2025-08-01
2025年7月12日,CCF YOCSEF 合肥成功举办技术论坛“车间物理定律...
2025-07-08
2025年6月28日下午,CCF YOCSEF合肥分论坛第十五届学术委员会第...
2024-08-27
2024年8月3日,CCF YOCSEF合肥顺利举办技术论坛“从基座模型到终...
2023-05-05
AI为科学提供了强有力的工具和方法,帮助领域学者发现新的知识、...
2023-03-24
2023年3月18日,CCF YOCSEF成都在四川省成都市五岳宫街28号成都...
2023-03-02
近十年,我国交通运输事业取得了历史性成就,发生了历史性变革,...
2023-01-12
2023年1月7日-8日,CCF YOCSEF成都在四川省峨眉山市峨眉山...
2022-11-13
CCF YOCSEF成都成功举办“当行为数据分析遇上云边智能”技术论坛...
2022-11-03
习近平总书记在二十大报告中指出:全面推进乡村振兴,加快建设农...
2022-08-25
2022年8月20日,中国计算机学会(CCF)青年计算机科技论坛(CCF ...
2022-08-16
2022年8月13日下午,由中国计算机学会(CCF)主办,CCF YOCSEF成...
2022-08-16
   7月25日,由CCF主办、YOCSEF深圳承办,国家超级计算深圳中心...
2026-06-09
YEF2026在四川绵阳圆满闭幕。大会以“智创未来”为主题,汇聚计...
2026-06-04
2026年5月23日下午,作为中国计算机学会青年精英大会(YEF2026)...
2026-06-03
2026年5月23日下午,作为中国计算机学会青年精英大会(YEF2026)...
2026-05-26
当前,具身智能正成为人工智能发展的新范式,而数据获取成本...
2026-03-18
CCF YOCSEF特别论坛“养虾者说:OpenClaw猛于虎也?”于2026年3月15日在京举办。围绕AI Agent的真实能力边界、技术演进路线及其对社会结构可能产生的重塑影响,与会者展开深入思辨,力图在热潮之下寻求理性的“养虾”之道。
CCF聚焦