近年来，面向特定生物医疗领域的人工智能模型和应用取得了巨大进展，结合了“大数据+大模型+多模态”的多模态大模型被广泛关注。大规模通用预训练模型在超级算力和超大规模训练网络的支撑下，在自然语言处理领域取得了前所未有的成功，比如GPT-3有1750亿个参数，可以不经过微调就取得很好结果。随着超算、人工智能理论和模型的进一步发展，研讨多模态大模型在生物医学领域应用的机遇与挑战、如何通过融合医学领域知识来实现通用多模态大模型具有重要的意义。

2021年11月25日，CCF YOCSEF深圳举办了主题为“多模态大模型：通用人工智能在生物医学应用的机遇与挑战”的深度论坛。本次论坛由YOCSEF深圳主席/中科院深圳先进技术研究院魏彦杰和YOCSEF深圳AC委员/鹏城实验室张彤担任执行主席，来自深圳、杭州、昆明、长沙等地区的近30位领域专家参加了论坛。专家们围绕多模态大模型在生物医学领域的应用开展了为期一天的分组深度思辨。

参会人员合影

上午9点，论坛正式开始。张彤博士主持会议并介绍了出席本次会议的嘉宾，包括中科院深圳理工大学（筹）计算机科学与工程控制学院院长/讲席教授潘毅、中科院深圳先进技术研究院医工所研究员/国家杰青梁栋、中科院自动化所研究员刘宏斌、湖南大学教授/长江学者彭绍亮、鹏城实验室研究员孙东宁、哈工大（深圳）计算机学院教授苏敬勇、昆明理工大学彭玮教授、杭州电子科技大学葛瑞泉、 中科院深圳先进技术研究院副研究员王珊珊、鹏城实验室助理研究员相洋、开放原子开源基金会教育培训部长王冠，深圳启研康智能生物有限公司CEO张海平、腾讯高校合作高级项目经理张伟鹏、深圳市中西医结合医院主任医生许珍强等。

YOCSEF深圳主席魏彦杰做了本次论坛的介绍并主持了引导嘉宾发言环节。魏彦杰介绍了召开本次思辨论坛的背景以及特定生物医学领域AI模型取得的进展，引出预训练多模态大模型在生物医学领域面临的挑战及应用前景。

引导发言阶段，潘毅教授作了题为“AI在生物医疗工程中的机遇和挑战”报告，回顾了历史上几代AI系统特点及其存在的问题，并预测在疾病预测、生物制药、药物筛选领域，发展有“专家知识嵌入”的AI系统是未来发展方向。梁栋研究员作了题为“人工智能动态磁共振成像”的报告，介绍了核磁共振成像原理及成像速度慢的原因，梁老师结合应用案例，分享了团队在动态磁共振快速成像方面取得的突破性进展。刘宏斌研究员作了题为“软体消化道机器人研究- AI赋能的机器人内镜检查”的报告，介绍了团队在AI与手术机器人融合方面所做的工作，并期待将多模态大模型引入机器人系统使之更加智能。相洋博士作了题为“以文本为核心的医学预训练模型：热点及挑战”的报告，介绍了使用结构化的电子病历数据训练大模型做序列化的疾病预测和疾病风险评估方面的工作，并总结了多模态大模型在医学应用中存在的问题。

潘毅教授引导发言

梁栋研究员引导发言

刘宏斌研究员引导发言

相洋博士引导发言

报告结束后，两位执行主席为4位引导嘉宾颁发了感谢证书，表达了对嘉宾由衷地感谢。

两位执行主席为嘉宾颁发感谢证书

进入思辨讨论阶段后，全体与会嘉宾围绕着“什么是大模型？多大算大？”、“多模态大模型是否是通用人工智能的必然趋势？”、“医疗多模态大模型能否引领生物信息、医学影像、机器人领域的发展？”、“当前阻碍医疗多模态大模型发展的因素可能有什么？”展开激烈的讨论。经过一个半小时的思辨讨论，形成了如下结论。

1、 衡量大模型的能力方面，专家意见分为两派，一派认为精度重要，只有在满足精度的情况下才可以扩展多个场景。一派认为广度重要，大模型需要满足多场景。

2、 多模态大模型确实可以引领生物信息学的发展，但是还存在着数据获取困难、数据存在噪声等问题，在数据清洗和数据选择方面更应该引起重视。

3、 通过融入更多的专家知识，解决模型精度问题，但需要跨学科的研究合作，如需要有药物专家、AI专家和分子动力学模拟专家。

4、 模型训练方面，由大到小还是由小到大训练模型只是一个思路问题，最终选择哪个还是要看哪个效率最高、效果最好。

5、 关于通用AI在医学领域产业落地问题，大模型具有光明的应用前景，但离产业落地还有很长的距离。

上午全体思辨研讨会现场

基于讨论得出的共识，论坛确定了两个分组议题“大模型的准确性及可解释性”和“产学研大模型技术落地”。下午14:00，分组思辨讨论于2个会议室独立开展，执行主席张彤和魏彦杰分别主持分组1“模型的准确性及可解释性”和分组2“产学研大模型技术落地”的讨论。分组1就大规模预训练模型再融合医学知识、多模态数据，提升模型准确性和可解释性方面展开讨论。分组2则在工业界与研究机构在多模态大模型领域的分工与合作、行业应用与产业落地方面进行思辨讨论。思辨讨论结束后，全体专家再次汇集在一个会议室，对研讨结果再次展开了讨论，形成了较为完善的思辨成果。最后执行主席张彤和魏彦杰分别代表分组1和分组2做了讨论总结。

分组1的总结归纳为：未来的模型不一定越大越好，需要明确由应用驱动的场景、可靠足量数据的高效获取非常重要；融入领域知识将提升大模型的性能，并加速模型的收敛；开源平台（尤其是开放算力的开源平台）降低了大模型和数据的获取成本，对大模型发展也很重要；在细分领域，多模态大模型在未来5-10年将会有较大的突破，例如融合多组学、影像组学、多模态文本等；通用多模态融合具有很好的发展前景，但是如何融合短期内还没有一个关键性的指标。

分组2总结概括如下：在产学研合作模式与产业落地方面，应借鉴国外先进模式，短期内产学研合作主要靠产业公司提供资金和人力的支持，前提是合作共赢；从AI模型分类的角度，一种是是医疗诊断，另一种是AI辅助的，如提高模型精度和效率，提供医学可解释性辅助诊断的。此外，面向医院全流程管理的AI系统也值得布局。

经过8个小时的研讨，本次深度思辨论坛顺利结束，通过深入的讨论，YOCSEF深圳形成了多模态大模型在生物医学领域应用前景的一系列专家建议。