CCF YOCSEF南京成功举办科技论坛

 知其然，知其所以然-深度学习可解释性有何解决之道？

主办单位

中国计算机学会(CCF)

承办单位

南京理工大学计算机科学与工程学院

CCF YOCSEF南京学术委员会

支持单位

南京贤至再灵智能科技有限公司

南京汉德数字孪生技术研究院

中国图象图形学报

时间

2020年9月26日

地点

南京市栖霞区纬地路9号

南大科学园孵化基地3号楼1201室

图为俞扬教授作引导发言

来自南京大学的俞扬教授介绍了神经-符号系统的一些探索。他讲到人工智能从上世纪六十年代至今，前半程主要关注符号系统，其过程多符合人类高层认知，易于理解；后半程则主要关注学习系统，以神经网络为代表的模型往往难以解释。这两类系统天生不易兼容，难以协力。接着他介绍了他们在神经网络与符号系统的转换和联通方面的一些探索。

图为张拳石教授作引导发言

来自上海交通大学的张拳石教授以《Deep Learning: Interpretability, Capacity, and Evaluation》为题介绍了深度学习可解释性的研究现状。具体而言，张教授介绍了深度学习可解释性研究中的几大核心问题点，包括：DNN表征与图模型的深度耦合与解释；习具有可解释的中层特征的神经网络；在数学层面解释神经网络的表达能力；对解释结果的量化评估。

来自澳大利亚蒙纳士大学的潘世瑞教授介绍了图结构学习。图神经网络已经被广泛用于图分类，聚类，链接预测等图分析任务中。学习图神经网络通常需要较为丰富的图结构先验知识，但很多场景下图结构信息不能直接获取。潘教授介绍了他们最近图神经网络的一些研究进展，解决如何在图结构先验知识缺失的场景下学习图神经网络。

来自武汉大学的刘威威教授以《On the Optimality of Classifier Chain for Multi-labelClassification》介绍了多标记学习中最优分类链的研究。刘教授讲到在多标记学习中，分类性能对标签的顺序较为敏感。接着，刘教授讲解了在理论上最优的标签次序，并给出了动态规划以及贪心两种策略来寻找局部最优解。

为了表达对引导发言嘉宾的感谢，YOCSEF南京为两位现场引导嘉宾俞扬和张拳石教授颁发了实体感谢牌，为两位线上引导发言嘉宾潘世瑞和刘威威教授颁发了电子感谢牌。

肖亮教授从系统的角度来看待可解释性问题，他认为输入信号如果发生了微小的变化，可解释性好的模型在输出层面的响应也微小变化，并以光照的变化对图像复原的影响来举例说明。针对这个问题，潘金山教授基于图像去模糊研究，针对现实场景中的图像，提出利用深度学习加上对应的数学物理模型能较好地提升性能。魏秀森教授认为目前可解释性好的方法在性能上不如一些无法解释的方法，而大部分应用场景还是以性能优先，一般会选性能主导的方法。对于出现的一些现象如果能够解释当然好，如果解释不清楚，新的技术出现后可能也会解决。其它与会专家认为在一些特定场景如军事决策中，可解释性还是有必要的。张拳石教授认为，必须要有严格的数学基础才能保证解释结果是客观以及可靠的。张拳石教授讲到最近正在进行的一个工作，他提出了一个解释性的指标直接跟泛化能力相关。

与会嘉宾谈了对这个问题的疑惑，为了提升深度学习的性能，一般需要增加网络的层数，增加神经元的参数个数，不可避免地增加了模型的复杂性，而复杂模型的解释性一般不是特别好，似乎性能跟可解释性之间存在矛盾。夏彬博士认为，目前看来可解释性并不能提升性能。平衡性能和可解释性要看具体的应用场景，在有些追求性能场景下，可以适当忽略可解释性。在另外一些场景如军事决策或者医疗诊断等，系统需要给出令人能信服的结果，同时给出决策的依据，不然很难放心地使用这个结果，这种情况下结果的可解释性更为重要。王崇骏教授认为，针对于现有无法解释的模型如深度学习，可以用其它本身具备很好的解释性的方法去逼近它，从而获得事后提升模型可解释性。张拳石教授认为，目前有很多指标衡量深度学习的性能，但是缺乏数学理论上的指标去建模深度学习的可解释性，因此性能和可解释性不存在平衡这个问题。未来的研究方向是从数学层面构建指标，从信息交互层面去建模可解释性。一旦有了理论指标后，可以从理论上去研究性能指标和可解释性指标的相关关系。

关于未来发展方向，有与会嘉宾表示可以利用可解释性增强学习的鲁棒性；也有嘉宾表示可解释性要与具体的应用任务相结合，譬如医疗诊断场景中，深度学习的推理结果与人的认知意识对应起来；也有表示当前的可解释性都是在做定性的研究，如神经元与语义的相关性，后续应该聚焦于可解释性的定量研究，这样更说服力。

关于应用场景而言，无人驾驶、金融、医疗、法律、军事都需要给出决策的可解释性。例如，在医疗诊断领域，涉及到生命安全，诊断系统除了告知医生病人诊断结果以外，更应该给出诊断结果的依据，否则这个系统没有信服力，没人敢用。

YOCSEF南京主席戴海鹏教授为思辨论坛特邀嘉宾颁发了感谢牌，并感谢各位线上以及线下的嘉宾、观众对本次技术论坛的支持，论坛于17:30结束。本次论坛为人工智能领域的研究人员梳理了深度学习可解释性的研究现状、神经-符号系统学习以及相关的图结构学习、分类链学习等领域的最新进展，其结果对相关领域从业者具有极为重要的参考价值。