潘理教授（上海交通大学网络安全技术研究院党委书记）：

主题：人工智能安全——对抗样本与对抗训练

人工智能安全可分为三个维度，人工智能内生安全、人工智能赋能安全、人工智能衍生安全。内生安全为本次发言的重点，对抗样本为真实边界与模型边界未完全重合而留出来的空隙，对抗样本通过扰动，使得模型造成误判。在攻击层面，构造对抗样本来实施攻击，可分为白盒攻击与黑盒攻击，白盒工具的效率更高。更高要求的攻击，希望达到不但让模型产生错误判断，而且还是攻击者期望的结果。

在检测层面，通过考察对抗样本的特征来甄别出对抗样本。在防御层面，依靠对抗训练来提升模型的鲁棒性。

黄琼（华南农业大学数学与信息学院，软件学院院长）：

主题：密码技术与人工智能安全

人工智能在信息安全领域的攻击应用有：密码破解，验证码破解，钓鱼等；防御的应用有：木马识别，加密流量检测，网络分析预测，漏洞检测等。人工智能也带来了众多问题比如强弱人工智能之争，安全方面，隐私方面等。

人工智能与隐私保护方面如何兼得？在政策和监管方面应控制数据共享，防止隐私泄露。在技术方面主要通过结合数据加密，分布计算边缘计算，机器学习等保护数据安全。例如现在应用的差分隐私和联邦学习。密码学技术来保护隐私主要有安全多方计算，零知识证明，同态加密，可搜索加密，等值测试加密。如何把人工智能和密码学技术结合，如何在安全和效率之中找到平衡值得我们继续研究和探讨。

陈铁明（浙江工业大学计算机科学与技术学院、软件学院副院长）：

主题：从攻防角度谈AI治理

系统治理，AI可信可期。AI模型安全需要有系统化的治理，系统化的治理有需要得到以下三个能力的保障，分别是政策保障、技术保障、监管保障；在这三重保障下实现系统治理，那么AI的未来是可信可期的。

在没有恶意攻击的情况下AI模型的安全则要靠自治，需要从完整性、机密性、可用性、可控性、合规性这几个方面来进行“白盒”治理。AI模型易受到攻击主要包括有数据污染攻击、人机交互攻击、算法模型攻击、计算服务攻击、供应链条攻击、网络系统攻击等，可从三个方面数据治理、模型治理、应用治理来实现AI模型的“黑盒”治理。

吴敬征（中国科学院研究所研究员）：

主题：可解释的人工智能技术在漏洞挖掘中的应用

漏洞挖掘是使用各种技术找到可能被恶意攻击者利用的薄弱环节。伴随着安全攻击技术的发展，软件漏洞类型呈现多样化，传统的静态检测方法以及难以起到理想的作用。以深度学习为代表的人工智能在安全领域应用激增，例如在基于代码属性图及注意力神经网络的漏洞挖掘方法，代码中细微的错误就会导致结果出错，引入注意力神经网络后，能让算法在图像当中很快的聚焦到不同点，各项指标中均有明显的提升。但神经网络的缺点也存在问题：缺乏可解释性特征，不可解释意味着危险。如何解决深度学习黑盒模型的可解释性问题？

人工智能技术的发展的流派：符号派（例：知识图谱）和连接派（神经网络）。结合知识图谱和安全，模拟安全专家的逻辑思维，利用机器优秀的计算能力和记忆能力，将安全漏洞信息的知识化构建出漏洞图谱VulGraph。知识图谱与漏洞信息的结合，提高了安全信息的使用效率和可解释性；从另一个角度促进了安全问题分析智能化的发展。

问：可信是什么？它与安全与隐私的关系是什么？

◆彭浩(YOCSEF杭州副主席,浙江师范大学教授)：

可信可以算是传统可信计算在人工智能的具体体现，更注重的是行为安全方面，同时可信和效率不能调和。

问：在安全攸关应用中，AI如何兼顾可信与性能？

◆吴敬征（中国科学院研究所研究员）、陈铁明（浙江工业大学计算机科学与技术学院、软件学院副院长）：

针对AI，我们的输入输出是确定的，含有智能属性。我们要保证其完整性，即过程的每一层动作是正确的，至于结果是否正确，相对来说不太重要。可信与传统的可信计算不一样，是从中衍生出来的，我们要思考在哪些应用中，AI需要考虑安全可信性。对于安全和性能的关系，要考虑安全性则必然会损失一些性能，比如在AI系统中加入安全机制、可信机制，则系统的速度和准确率等是否有损失。当应用到设备、算法、数据里面时，会转变为行为安全，可信、安全和性能有时候不好协调。围绕应用、需求和本身实践，在外围条件的支撑下，我们对内部的可控力，对外不能超出可用范围。

◆刘天亮（YOCSEF南京）：

兼顾可信与性能，围绕应用和需求出发，需要有闭环思维，顶层设计。

问：在人权平等的敏感应用中，AI如何兼顾公平与性能？

◆许骁哲（YOCSEF太原）：

在人权平等中，涉及到人权问题。我们在深度学习和神经网络中研究的是端与端的关系，数据源是比较重要的，数据源若给出不平等的模型，我们在应用中不可避免会发生不平等，从数据源入手，需要数据源分布合理，我们在实际应用中才能兼顾公平与性能。其实性能总的来说就是最大化的利益。在不同的时间不同的场景给出不同的方案，做到让绝大部分人满意。

◆潘理（上海交通大学网络安全技术研究院党委书记）：

公平的定义需要一个标准，从数据上面来说，若样本数据存在偏差，在实际应用中会存在歧视，我们要考虑输入和采样的公平性。从模型方面来说，模型也不一定真正公平，它对某些特征会有所加强。

◆刘新锋（YOCSEF济南）：

算法模型和数据采集手段是否公平也是很重要的，人们愿意选择相信人还是选择相信机器来做一件事，在人的世界和AI的世界都存在不公平。

◆许骁哲（YOCSEF太原）：

性能对于大公司来说应是最大化利益，比如网上购物对于有购买力多消费的人来说，人工智能多发放消费券来刺激消费，AI要为了公平对所有人都发一样的消费券吗？所以应该做到不同时间不同场景，绝大部分人满意。而对于政府部门来说，一视同仁则是应该采取的策略。具体问题，具体分析！

◆董博梁（浙江大学博士）：

所采集的数据是客观存在的反应，比如出现歧视性的问题，不一定是模型本身的问题，有可能是社会存在不公平的现象，进而反应到模型。

◆刘天亮（YOCSEF南京）：

性能在实际应用中涉及到性价比的问题，投入多少成本，收获怎样的性能。

问：在数据敏感应用中，AI如何兼顾隐私与性能？

◆王伟（北京交通大学）：

我觉得是在保障隐私的前提下，挖掘性能，兼顾是比较难的。现在的企业或机构不愿意分享数据，就是害怕隐私数据会泄露。我们要解决数据孤岛问题，比如现在的联邦学习通过本地训练再融合来保证隐私的前提追求性能，未来这样的形式会越来越多的出现。

◆董云鹏（沈阳，360公司）：

从工程领域来看，隐私必然是保障不了的，使用工具是为了创造优势，为了提升自己的竞争力，就会造成不公平，核心问题是制造不公平而不是解决不公平。在某些方面来说，性能越高，越不公平，隐私和性能不存在兼顾关系，而是利用隐私去提升性能。就算数据不可以买卖，也可以通过其他方式来获取这些隐私信息。同时补充一下什么是可信，对用户有产生价值的就是可信的。对于以上提到的性能和偏哲学方面的问题，技术层面是碾压这些哲学问题的。

◆许骁哲（YOCSEF太原）：

能兼顾隐私和性能，它们不是对立的。性能高的话，隐私是有可能泄露的，在企业中，隐私保护和保障隐私数据能给哪些人看是保护隐私安全部门该负责的事，而性能提高是算法团队该负责的事。

◆黄琼（华南农业大学数学与信息学院，软件学院院长）：

在数据敏感应用中，隐私保护是首要受关注的，我们可以分级保护隐私，对每一级如何鉴定，要有算法和具体实现。

问：考虑到安全、公平与隐私等诸多挑战，AI未来真的可期吗？

观点站队：可期！

◆刘新锋（YOCSEF济南）：

AI解决了我们很多问题，带来便利，在某些领域，对于安全、公平和隐私的要求可能会比较低，我觉得是可期的。在一些行业、领域里与社会关联大，比如安全驾驶等，AI技术尚不明朗还不是很成熟，但目前也不紧急。

◆吴敬征（中国科学院研究所研究员）：

我认为AI的未来是可期的，AI是计算机发展中的一项技术，用AI可以节约人力，发现一些我们还没有发现的东西，可以满足我们的需求和技术。什么技术服务于需求，能满足需求的技术则是可期的。

◆董云鹏（沈阳，360公司）：

对于AI的未来，我们不得不做，虽然可能带来巨大风险，我们必须找到解决方法。AI对标准化流程和大量样本的学习很快，随着AI和大数据的发展，业务方面的事情很容易被机器学习，我们要关心的是未来AI发展可不可控的问题。

◆纪守领（浙江大学教授，YOSCEF杭州副主席）：

部分同意董云鹏的观点，但是技术和社会的约束，保证我们的安全。技术做不到的，越来越完善的法律法规可以做到。技术的发展和相关的法律法规，可以保证AI的未来是可期的。

◆黄琼（华南农业大学数学与信息学院，软件学院院长）：

法律法规方面，会逐渐完善，国家层面已经释放了强烈的信号，个人信息保护法也在商榷中，在法律法规的支撑下，我们的技术会做得越来越好。

◆许骁哲（YOCSEF太原）：

对AI的未来有些担忧，AI 改变了人类社会，但它会不会对人类本身造成威胁。机器学习是可控的，但神经网络的技术发展渐渐不可控了，如果技术继续发展，必须考虑安全、公平和隐私的问题，不能放任发展，要做到相对公平、相对安全。

◆潘理（上海交通大学网络安全技术研究院党委书记）：

如何建立可信AI

1）要有能力来工程化的、有效可靠的开发AI系统与应用。正如计算机科学早期发展的历史一样，软件开发工具和开发流程是经过计算机软件工程这门子学科多年的努力才逐渐建立起来的，我们需要同样的努力来逐步打造工程化开发AI系统与应用的能力。

2）确保AI系统的安全性需要全新的开发与运营能力，尤其是关键使命的AI应用。

3）AI系统，比如机器人，需要其创造者赋予正当的道德伦理观念。

人工智能是目前为止人类历史上创新潜能最大的技术发展浪潮。在未来的几十年里，它不但能诞生全新的大规模基础产业，也能极大程度地提升和改造所有现有行业。但要推动人工智能的健康发展，我们需要不断推进人工智能核心技术的进步，以及各种人工智能应用的开发和实践。这将是一个持久的过程，需要学术界和产业界一起合作，需要看到不同的理念、听到不同的声音、表达不同的想法，在一个健康良好的环境中不断交流、撞出火花，更好地探索科学的真理，加速人工智能的进展。