商业、技术博弈与伦理挑战，YOCSEF重庆聚焦Open AI事件探讨AI发展治理路径

2022年以前，当我们看到关于AI的影视作品，比如《终结者》《黑客帝国》《流浪地球》《三体》等，会感觉超级智能(Super intelligence)离我们很远。而今年5月，著名AI科学家Geoffrey Hinton预计通用人工智能(AGI)将在20年内实现。随着ChatGPT、DALL·E等AI技术的发展和近几天的 OpenAI事件，AI技术发展和伦理的关系再次引起思考和热议。为此，中国计算机学会青年计算机科技论坛（CCF YOCSEF）重庆分论坛于11月25日下午在重庆喜来登酒店36楼长江连廊会议室举办了“商业、技术、伦理：AI对齐是否已经迫在眉睫？”观点论坛。论坛聚焦“商业、技术、伦理”在AI研究中的影响，围绕AI研究发展的主要推动力以及未来发展路径等相关问题进行深入探讨，以期为国内的AI研究前景提供发展思路，推动AI研究升级发展。

此次论坛由CCF主办，YOCSEF重庆承办，由YOCSEF重庆AC委员黄兵姚和YOCSEF重庆AC委员吴松共同担任执行主席。论坛邀请了张自力（西南大学）、刘志明（西南大学）、吴敏（数字重庆大数据应用发展有限公司）作为引导发言嘉宾，金鑫（云南大学）、黄怀波（中国科学院自动化研究所）、鄢兴雨（北京智谱华章科技有限公司）等来自省内外三十余所高校及多家企事业单位的代表共80多人参加了此次论坛。

在YOCSEF执行主席黄兵姚进行论坛背景介绍后，重庆市巴渝学者特聘教授，西南大学教授张自力以“通用人工智能的认知与发展”为题作引导报告。自力讨论了 AGI是否有超越人类认知而对人类造成威胁的可能性，结合人类艺术文化历史进行分析并给出观点——现有的AGI在人类有效的控制引导下无法超越人类的情感，从“工具”进化为“生命”。国家特聘专家，西南大学教授刘志明以“通用人工智能的伦理思考”为题作引导报告，探讨了偏向商业和技术的发展与偏向科学家的社会道德信念与责任的对立性，指出了在人类对自身的能力不够了解的情况下，AGI是否能够达到人类的能力水平仍然不得而知，现阶段研究已发现AGI对人类产生了影响，伦理问题是AGI在设计时亟需关注的话题。数字重庆大数据应用发展有限公司技术研发中心主任，重庆大模型联盟副理事长吴敏以“通用人工智能的治理之路”为题作引导报告，她指出，据统计，截至2023年5月，美国与中国占全球已发布大模型总量的80%以上，国家层面对于算力的支持在不断加大，然而在发展过程中仍存在知识产权侵权、算法的不确定性、数据安全、伦理道德风险等问题，在AGI治理中需要积极探索立法、监管与联盟三个领域的治理对策。

在引导报告之后，论坛进入思辨环节。思辨嘉宾云南软件学院副教授金鑫、中国科学院自动化研究所多模态人工智能系统全国重点实验室副研究员黄怀波、北京智谱华章科技有限公司联合创始人、首席架构师鄢兴雨以及与会嘉宾围绕“AI的发展主要靠商业还是公益组织推动？”“有效加速和超级对齐，哪个是未来AI技术发展的路线，是否还有其他选择？”“OpenAI事件给国内的AI领域带来了什么样的启示？”等议题展开了深入思辨，总结得出以下观点。

思辨议题一：AI的发展主要靠商业还是公益组织推动？

针对此议题，认为AI的发展主要靠商业组织推动的嘉宾表示，据现状来看，缺乏商业模型和发展前景的研究难以得到市场的认可，获得资金的支持。相比于公益组织，企业有更好的资金资源优势，企业目标明确，市场导向以及需求会刺激企业更多地进行生产要素的倾斜投入，良好的预期会刺激企业加入创新竞争，从而在领域内达成“创新爆发”的良性竞争生态。生存压力也使得企业的风险评估管控远超于公益组织的考虑范围。而对于公益组织来说，资金来源的不稳定性致使其随时面临资金链断裂的风险，从而阻碍研究发展创新。对于目前所担心的企业垄断形成技术壁垒的问题，则应该发挥政府和公益组织的引导作用。而赞成AI的发展主要靠公益组织推动的嘉宾则指出，公益组织含有国家意志成分，人类历史上的重大技术突破依靠的是国家之间对人类进步事业的竞争，议题所讨论的发展是“从1到N”的跨越式发展，而不是“从1到100”的渐进式应用层面的发展。跨越式发展只能依靠公益组织，依靠有理想情怀的科学家来推动。并不是每项研究都能够转化成商业模型，企业在其中所起的只是“缝缝补补”的应用推广作用。部分嘉宾认为二者并不对立，应该分维度进行讨论，初创阶段依靠公益组织对人类发展的理想而投入研究，达到“1”；此后则要靠商业组织将研究落地转化，解决人类实际生产生活中的需求问题，让AI更好地融入生活服务人类。

思辨议题二：有效加速和超级对齐，哪个是未来AI技术发展的路线，是否还有其他选择？

针对这一议题，倾向于“有效加速”路径的嘉宾认为在“有效加速”中能快速推进模型的升级，提高生产效率，对齐本身相当于监管，管控过度会抑制发展的势头。从历史角度上看，人类的伦理体系本身仍处于一个争议的状态，各方并未达成共识，植入不科学的伦理体系更会造成毁灭性的风险。对齐对于发展的安全性保障来说必不可少，发展中需要管控和检查，但做检查不应该是发展的方向，在“有效加速”的路径中才能更高效地发展。目前各大研究机构不会停下研究脚步等待对齐，因此我们要做好准备迎接一个加速的时代到来。认为“超级对齐”路径是当务之急的嘉宾则表示，要预防AI达到自我演进阶段而超越人类的威胁，必须提前将对齐嵌入，使其无数次迭代也跳不出限制，目前我们面临着技术算法超过认知发展这一大伦理治理挑战，不重视“对齐”会有“悔之不及”的风险。

思辨议题三：OpenAI事件给国内的AI领域带来了什么样的启示？

与会嘉宾针对此事件表示，本次事件是技术与资本的一次博弈，是理想与现实的碰撞，从中我们应该关注探究的是其充满生机活力的组织架构的创新。总的来说，从这次事件中我们更应该去探索架构对于前沿创新的影响，讨论架构对于规避风险的可能性。制度在研究发展起着不可忽视的作用，技术与资本也存在对齐的问题，资本垄断会造成技术壁垒，技术主导朝偏激的方向发展也会导致不可预计的结果。针对这一问题，国内的制度优势更大，在此条件下，我们要推动立法加速规范，让资本和技术协同发展，保持平衡，更好地促进良性循环。国内目前的研究与OpenAI还存在一定的差距，但是我们的目标不只是追逐其的脚步，更要有超越的信心和追求。

此次论坛历时三个半小时，最后，YOCSEF重庆执行主席吴松对此次论坛进行了总结。

此次论坛以OpenAI事件为引，探讨了AI研究未来的主要推动力以及未来发展路径问题，并从OpenAI事件中总结经验，探究国内AI研究的发展前景。最后，论坛在一片轻松而热烈的氛围中圆满结束。