大规模预训练模型的快速发展，特别是ChatGPT的横空问世，不仅向全世界展现了人工智能领域取得的突破性进展，也引爆了学术界和产业界对自然语言处理技术未来发展方向等关键问题的广泛关注。ChatGPT推出仅两个月后，月活用户已经突破了1亿，成为史上用户增长速度最快的消费级应用程序。ChatGPT是人工智能新纪元，微软联合创始人比尔·盖茨称其重要性不输“互联网”，英伟达CEO黄仁勋盛赞其诞生堪比“iPhone”问世。

        为推动当代人工智能研究及应用的发展，探索实现通用人工智能的基础理论及关键技术，尤其是预训练模型出现带来的全新变化，2023年4月16日，CCF YOCSEF 哈尔滨分论坛在哈尔滨工业大学科创大厦成功举办了“ChatGPT时代自然语言处理的机遇和挑战”深度思辨论坛。

图1 参会人员合影

        本次论坛由CCF YOCSEF哈尔滨候任主席、哈尔滨工业大学副教授冯骁骋和现任副主席、东北林业大学副教授李洋担任执行主席，邀请了来自北京师范大学、上海交通大学、复旦大学、北京理工大学、智源AI研究院、大连理工大学、华为技术有限公司以及本地高校和企业的30余位专家学者参与。

图2 东北林业大学李洋致开场白

        会议首先由CCF YOCSEF哈尔滨2003-2005主席、黑龙江省计算机学会理事长、哈尔滨工业大学校长助理兼计算学部主任刘挺教授致辞，刘挺教授表示ChatGPT是自然语言处理领域具有跨时代意义的全新技术范式，哈工大在此方面有着深厚的底蕴，期待本次论坛的深入讨论可以对自然语言处理的未来发展有所启示。

图3 哈尔滨工业大学刘挺教授致辞

        随后，CCF YOCSEF哈尔滨现任主席、哈尔滨工程大学宋洪涛副教授简要介绍了YOCSEF文化，YOCSEF以“承担社会责任、提升成员能力”为宗旨，讲规则、讲平等，是CCF最具活力的部分，哈尔滨分论坛成立20年来，培养了一大批杰出学者和企业家，为黑龙江省计算机事业的发展做出了重要贡献。

图4 哈尔滨工程大学宋洪涛作文化介绍

        在论坛引导报告环节，北京师范大学新闻传播学院院长张洪忠教授以“ChatGPT破圈的网络扩散与未来互联网竞争趋势”为题发表分享。张洪忠教授从新闻传播学的跨界角度出发，分析了ChatGPT的海内外网络扩散特征，并提出了随着云计算和高性能计算的普及，大模型是否会成为未来互联网竞争的入门门槛、资本雄厚的算力（芯片）是否会是行业内竞争的基础条件等一系列未来思考和展望。

图5 北京师范大学张洪忠作引导发言

        上海交通大学约翰霍普克罗夫特计算机科学中心林洲汉助理教授以“预训练大模型中罚函数的设计”为题，对多模态、跨模态场景下的自然语言处理预训练任务进行介绍。同时，林洲汉老师也分享了其团队在视听觉多模态自动语音识别方面的相关研究工作。

图6 上海交通大学林洲汉作引导发言

        来自北京理工大学的高扬副教授以“NLP任务探索：小精专的风格生成新任务”为题，介绍了特定场景下的口语化生成任务。高扬老师探讨了大模型前进的契机，并展望了大模型的未来研究方向。

图7 北京理工大学高扬作引导发言

        北京智源人工智能研究院认知模型与数据团队负责人王业全博士做了“语言大模型前沿进展”主题的引导发言。王业全博士针对“长序列处理”、“预训练范式的改进”、“低成本预训练”这三个非常有研究潜力的方向发表了自己的见解。同时，也和嘉宾们分享了“悟道3.0”在NLU（自然语言理解）任务以及NLG（自然语言生成）任务上的性能表现。

图8 北京智源人工智能研究院王业全作引导发言

        复旦大学自然语言处理实验室桂韬副研究员以“大模型能力探针”为题进行了引导发言。桂韬老师指出，ChatGPT目前在句子级别任务上的表现相当具有竞争力，但在词语级别任务上表现欠佳。ChatGPT对语言之间距离的认知与人类专家对语言之间的距离的理解有着非常强的相关性，通过无监督的预训练就可以基本实现不同语言之间知识的对齐。

图9 复旦大学桂韬作引导发言

        在引导发言之后，论坛进入思辨环节，由执行主席冯骁骋主持。与会嘉宾围绕“ChatGPT是否是通用人工智能的必经之路？”和“国产类ChatGPT模型的目标是什么？是追赶还是超越？”这两个议题展开思辨。

图10 哈尔滨工业大学冯骁骋主持思辨议题

一、ChatGPT是否是通用人工智能的必经之路？

        哈尔滨工业大学车万翔教授表示，ChatGPT作为必经之路的说法可能过于绝对。它并非是一个必要条件，而应该是一个充分条件。ChatGPT可能是通向通用人工智能的路径之一，同时也是一种重要的基础，但绝不会是“必经之路”。上海交通大学林洲汉助理教授表示，ChatGPT的感知能力确实已经达到了前所未有的高度，但是在认知层面上，ChatGPT仍然有许多可以改进的地方。当前的人工智能系统往往是基于特定任务的训练，而这些任务范围难以涵盖人类认知的全部层面。实现真正的通用人工智能，需要更深入地研究人类认知的本质，理解人类如何理解和处理信息。哈尔滨工业大学左旺孟教授表示，如果我们在未来能够达到足够高的语言理解和掌握能力，那么类似于ChatGPT这样的技术有可能成为通用人工智能的重要基石。随着技术的不断进步，也许可以更好地模拟和理解人类语言的本质，人工智能也能够更好地与人类进行交互和沟通，并实现更复杂的任务。北京师范大学新闻传播学院院长张洪忠教授表示，ChatGPT距离真正意义上的人工智能可能还有很大的一段路要走。首先ChatGPT不是类人思维的一项技术工作，我们对人脑的研究仍有很多未知和未解决的问题。实现类人的人工智能需要更深入、更全面的了解人类思维和意识的本质，这是一个充满挑战的领域。哈尔滨工业大学刘铭教授表示，从知识挖掘和知识库的角度出发，可以发现大模型的知识储备远超过人类，它可以从海量的数据中提取并整合各种知识，这些知识可以被应用于各种自然语言处理任务上。然而与人类相比，大模型缺乏创新和思维启发跳跃的能力，无法自主学习和主动思考，无法像人类那样从新的视角和思路来解决问题。

二：国产类ChatGPT模型的目标是什么？是追赶还是超越？

        北京师范大学新闻传播学院院长张洪忠教授表示，为了实现超越，可能需要采取“换道超车”的策略，即寻找新的方向。就像在2010年前后，移动互联网的兴起掀起了一股风口热潮，而当时微信之所以能够战胜一众对手，是因为它找准了自己的赛道。而“旧产品+新技术”的嫁接方式并不能实现巨大的创新，因此需要不断探索有潜力的应用场景和未来的赛道。只有在不断寻找新的方向，并将其与现有技术相结合，我们才能在竞争中立于不败之地。哈尔滨工业大学秦兵教授表示，“工程才能驱动创新”。自从ChatGPT问世以后，我们的很多工作都受到了冲击。我们现在之所以没有做出类似于ChatGPT的产品，可能就是因为我们当时没有工程上的硬需求以及我们对于工作上的一些不自信，而且算力资源也是一个非常重要的制约我们发展的原因。但乐观的是，我们国内市场的需求十分广泛，如金融、汽车行业等等，所以只要我们整合资源，追赶ChatGPT是指日可待的。哈尔滨工业大学车万翔教授表示，就当前的形势而言，我们应该采取“面上追赶，点上超越”的策略。从宏观角度来看，我们必须保持追赶的步伐，因为像GPT-4等后续工作的技术细节尚未公开，若我们无法在大层面上追赶，我们就很难找到“点上突破”的方向。而在“点”上，我们也应根据自身特色开展创新，找准进攻点。复旦大学自然语言处理实验室桂韬副研究员表示，我们的目标一定是超越，但在当前的形势下，我们可能仍需要一段时间来追赶。不仅国内，许多国外高校也面临着类似的挑战。这种需要巨大的人力、算力和财力资源的工作，往往只能依靠企业的支持。因此，我们需要建立起一种新的企业文化和价值观，注重长期的技术研究和前瞻性创新，而不是追求短期的利润最大化。哈尔滨工业大学左旺孟教授表示，在当前的环境下，工业界实现追赶和超越ChatGPT的可能性似乎更大一些。然而，这并不意味着高校无法做出重要的贡献，我们也需要鼓励有理想、有追求的年轻人去钻研和攻克一些技术难题，无论是在工业界还是高校，他们的努力和成就将会为我们的科研发展带来重要的推动力。云孚科技（北京）有限公司创始人兼CEO张文斌表示，短期内要实现追赶和超越的比较困难。然而，我们应该始终保持乐观的态度，因为在长期的发展中，技术和产业的进步是不可阻挡的。我们可以从分布式训练等角度出发，整合国内的训练资源与算力。但是，这一想法受到芯片及一些网络设施硬件技术发展的制约，同时成本也是一个考虑因素，导致短期内实际可行性并不高，我们应该报有信心和决心，从政府、企业和学校各方面共同努力。

        刘挺教授在议题总结发言中表示，对于像哈工大这样大型研究团队，我们不应该只是局限于在别人的基础上修修补补，一定需要打造自己的大模型。在硬件和算力等方面，要为我们的国产大模型或者本校大模型提供条件，要为从头训练大模型创造条件。当前，大模型等领域正以指数级的速度发展，其发展速度令人惊叹，我们要有技术方向上的前瞻性，不能被某些新兴技术的线性发展速度所迷惑，我们需要不断寻找新的技术方向，并把握它们的发展轨迹，引领领域发展的势头。ChatGPT对各行各业的冲击都非常巨大，而且首当其冲的一定是信息量非常充足且开放的行业，比如：教育、金融等。但是，对于医疗、军事等这一类公开信息相对比较匮乏并且信息收集难度较大的行业而言，反而有机会通过学科融合交流来实现对以ChatGPT为代表的一系列大模型的追赶和超越。

图11 思辨发言

        之后，论坛进入分组讨论环节，围绕“ChatGPT时代自然语言处理的机遇与挑战”分成挑战组和机遇组两组分别展开。

一、挑战组

        挑战组的专家学者们针对“ChatGPT时代下自然语言处理的挑战”这一议题，从软性条件、硬件支撑、算法研究、落地应用这四个层面展开了深入讨论，达成以下共识：（1）软性条件：缺乏理想主义资本人才和理想主义技术人才，过于注重功利化的结果，忽视了其他方面的价值。（2）硬件支撑：GPU等计算资源的不足导致发展速度远远落后。（3）算法研究：基础研究的不足、算法多样性的缺乏也限制了我们对大模型算法的推动。特别是数据飞轮劣势也是一个挑战，大量的数据是算法训练的关键，在任何环节的落后，都会导致需要付出更多的努力和寻找新的方法来解决这个问题。（4）落地应用：ChatGPT等大模型在实际应用中，落地方案需要考虑多个因素，其中包括安全性、可信性、依赖性、滥用风险、算法效率以及适用领域等。

图12 挑战组讨论

二、机遇组

        机遇组的专家学者们围绕着“ChatGPT时代下自然语言处理的机遇”展开了积极的讨论与互动，认为在ChatGPT影响下机遇与挑战是并存的，未来在“科研主题”以及“研究领域”的新机遇主要包括：

        （1）科研主题： 一些以往需要进行大量标注的特定领域无法实现的现实世界应用，在现在只需要通过少量的样例数据即可实现落地，为许多原本无法实现的任务提供了新的机会。AI for Science方面的发展也有了新的突破。深度学习已经可以用来模拟大规模的原子相互作用等科学问题。这意味着，我们现在有机会去探索更多的基础科学领域，例如物理学和生物学，解决更加激动人心的科学难题。我们可以更加深入地探讨NLP与其他学科的交叉应用，例如心智理论。这种跨学科的研究不仅可以推动技术的发展，还有助于我们更好地理解和探索人类思维和行为的本质。NLP领域的“仿真”上可能有机会开发新的研究体系，对大模型进行仿真，无需庞大的算力支持即可模拟大模型相关的各类实验，降低了NLP的门槛，形成一个新的研究派系。大模型中的知识和语言能力解耦合有可能成为一个新的研究方向，我们可以尝试更加灵活的在各项任务甚至各项学科上自由地对大模型的能力进行组合以及针对性应用。（2）研究领域： 过去，NLP一直处于AI技术的幕后，难以真正落地，但现在NLP已经成为整个AI技术的核心。在未来，NLP将会与其它模态的研究相结合，为人工智能技术的发展开辟更广阔的前景。NLP的深度研究正在开启崭新的机遇。过去传统的NLP任务往往被视为一个“终点”，但现在，这些任务被视为一个“中点”，可以作为进一步分析更多信息、更加复杂任务的基础。NLP community的人气有新机遇，这个领域门槛降低了，不再需要具备高深的编程技能就能够实现人工智能的应用。这也就意味着，更多的其它专业的人才能够参与进来，将其独特的知识和经验融入到NLP的应用中，从而释放出更广泛的创意和潜能。

图 13 机遇组讨论

        最后，执行主席冯骁骋对本次论坛进行了总结。此次论坛围绕ChatGPT对自然语言处理领域的机遇与挑战展开了深入的思辨，探讨了未来行业发展方向与轨迹，为与会者们提供了一个广泛的交流平台，促进了学术和工业界之间的合作和互动，为ChatGPT在自然语言处理领域的应用和研究提供了重要的思路和方向。在ChatGPT的推动下，未来自然语言处理将继续展现其强大的潜力，推动人工智能技术的发展，让它更好地服务于人类社会。