技术论坛|普适环境下的感知技术演进方向

1990年，马克·维瑟（Mark Weiser）在《科学美国人》杂志上提出了普适计算的理念；三十年后的今天，从无处不在的智能助理，到统一各种设备的“鸿蒙”系统；从非接触式的智能无线感知，到围绕个体的行为感知，再到基于众包众感的群智感知，普适计算感知技术形成了“以人为本，场景驱动”的研究范式，推动了从人适应机到机适应人的新型计算理念。在新型感知网络、自然人机交互、深度强化学习等技术迅猛发展的背景下，普适感知技术将如何演进，已成为领域学者热切关心的问题。

CCF YOCSEF厦门5月22日组织的题为普适环境下的感知技术演进方向的深度技术论坛，就普适环境下的感知技术演进方向展开思辨，着重探讨1）从无线感知理论到泛在情境感知的演进路线；2）从三维空间感知数据中构建虚拟人的演进路线；3）从群智感知应用到群智操作系统的演进路线。论坛邀请有代表性的学术界、企业界专家学者，从不同角度进行讨论和思辨，寻找答案和线索，为本次论坛带来深刻的观点和思考。

本次论坛执行主席为陈龙彪（CCF YOCSEF厦门主席）、吕文超（CCF YOCSEF厦门学术秘书)、线上主席为朱嘉诚（CCF YOCSEF厦门 学术秘书）、张雪白（CCF YOCSEF厦门 AC），论坛线下线上(腾讯会议)参与人数达150人。

论坛伊始，陈龙彪（执行主席）欢迎各位嘉宾参加会议，并介绍了本次论坛的议程、论坛背景和初衷。

其后，吕文超（执行主席）介绍了YOCSEF背景、特征、定位、使命，说明了YOCSEF系列活动形式：观点论坛（针对计算机学术、产业、技术和社会热点问题进行思辨，思其本质、辨其真伪，向全社会发出声音）、技术论坛（把最新、最前沿的技术动态和学术思想向业界传播），学术报告、Club等，并阐述了YOCSEF的意义—在于以思辩的方式讨论计算机学术、技术、产业及教育相关的发展战略，讨论学术评价、学术环境及法律、政策方面的问题，进而提出独到观点，激发创新思想，促进社会进步，为青年计算机科技工作者提供一个展示才华

和促进成长的舞台。

接下来，进入嘉宾引导发言部分：

张大庆(北京大学)围绕“泛在无线感知的几个理论问题与探索”做引导发言，介绍了泛在无线通信信号的概念，泛在感知的场景有智慧医疗、智慧养老、智能仓储等。人在无线信号发射的场景下会产生信号反射现象。传统的WIFI定位基于信号强度RSSI实现，2011年后，5G通信技术OFDM的出现后，基于WIFI CSI的技术被逐渐开始用于无线感知。在无线感知场景下，通过信号的变化，可以感知到人的动作。通过机器学习或模式适配的方法可以识别处具体的行为，但人在与信号发射器的位置发生变化时，产生的感知信号模式变化非常大。

王程（厦门大学）做了“激光雷达人体动作感知与定位”为题的引导发言，概述了人体动作捕捉的现状与挑战，人体感知与定位是普适环境感知的重要板块，团队提出的LiDARHuman26M是首个LiDAR大规模多模态3D人体动作捕捉数据集，介绍了基于点云数据的人体动作捕捉方案LiDARCap。基于点云的方法对动作捕捉的精度比基于图像的动作捕捉方法性能要高，此方法的泛化能力更高，可靠性可进一步得到提升。此外，进一步介绍了基于可穿戴IMU和激光雷达的捕捉系统，通过HSC4D方法关联人的动作与三位环境中的运动，耦合图像与任务动作，实验证明HSC4D方法相较于惯性动作捕捉与激光雷罚辅助捕捉的性能更优。

王亮（西北工业大学）做了“移动群智网络感知与计算初探”的引导发言，针对群智环境下的资源分配问题，介绍了社交网络环境下的群智资源招募，移动群智网络感知下的鲁棒性增强，构建强鲁棒的离线任务分配方案。针对“三维群智网络”下的资源分配设计了Requestor-Workplace Pair结构。此外还介绍了移动群智网络的数据计算方法，在线下广告影响力扩散场景上进行了研究。

於志勇（福州大学）的引导发言题目为“稀疏群智感知——从选点到选人”，提出了常规群智感知中感知成本与数据质量难以兼顾的问题，介绍了稀疏群智感知方法，利用主动学习进一步扩展了该思想，找到选择指标，适配空间/跨域相关性推测算法，设计了多阶段样本选择，降低局部冗余。此外，针对选点的稀疏群智感知的不足，提出直接参与者选择的思路，建立了强化学习模型直接评估用户的整体效用，利用时空压缩感知算法推断完整感知数据，减少招募用户的成本。

接下来，论坛进入思辨环节，主要围绕从无线感知理论到泛在情境感知的演进路线，从三维空间感知数据中构建虚拟人的演进路线，从群智感知应用到群智操作系统的演进路线三个议题：

论题1：从无线感知理论到泛在情境感知的演进路线，本环节由王柱（西北工业大学）担任主持，议题主要围绕1）普适环境下泛在情境感知的内涵是什么？2）无线感知能够感知什么，无法感知什么？3）从无线感知理论到泛在情境感知的共性难题有哪些？4）无线感知/泛在情境感知的关键应用/重大需求有哪些？进行讨论

王柱（西北工业大学）表示泛在情境感知的内涵，会更加宽泛的概念，一个是基于无线感知对各种情景的感知，任何时间任何地点无处不在的感知和计算，另外一个是其他感应方式，不同的感知模式协作对泛在情境感知能够达到更好的效果。

张扶桑（中科院软件所）:无线感知可以看做一种实现手段，其非接触的特点和保护隐私的特性，以无感和最自然的方式，将信息技术融入到生活服务中，能更好的提供感知能力，为人类服务。关键应用主要提到室内应用1-面向生命健康，智慧医疗，居家健康监护会2-智慧家居：未来20-30年，家装市场将以人为本，用无线感知技术服务于人3-智慧制造：质量检测，工人位置感知应用等；室外应用还可以体现在自动驾驶、交通路况、车载雷达无人机等场景

汪磊 (北京大学):信息感知最大的内涵是可改变生活，主要的作用促进更便利的生活，无线感知是未来工业界的趋势。现有的技术和无线信号更好的有效结合是情境感知存在的一个问题。

吴丹（北京大学）: 无线能感知的什么无法感知什么，涉及感知极限（如电磁波、声波，信号检测到的力度），感知边界（无线信号多远的距离，即范围）；应用场景的感知能力不同，也涉及信号质量等问题，无线感知其实是体现在多方面的。

牛凯（小米科技）: 对于人的动作系统通过无线感知能力足够，但系统对理解人的意图很难，系统暂时无法理解语义层的信息。建议先探索无线感知的极限，再回到语义感知的研究。

陈龙彪（厦门大学）：无线感知可在军民融合方面的应用，基于其全天候的感知技术，可做自然灾害的评估，战争损毁评估，异常的响动和裂纹感知等等

张蕾 （天津大学）: 以人的需求为核心出发，比如老人的具体需要，必须要考虑场景。若脱离场景就是不一样的理念。新的动作在新的场景下基本无法感知，但大部分现在缺乏这方面的处理，而被划到大类，应该要更细化。在应用方面，她表示应挖掘不同感知设备的优势，协作形成优势互补，不同的感知环境有不同的设备组合，应用场景中提到了智慧体育的应用，如体操动作的标准化，新颖的动作进行预先设计等，但是通过信号感知物质的成分分析，如智慧农业，智慧安检等应用场景，还处于探索的过程中。

论题2：从三维空间感知数据中构建虚拟人的演进路线，赵莎(浙江大学)主持此议题，分别从1）演进路线（感知数据、建模方法、刻画维度），2）存在哪些挑战与难点（数据标注、隐私等、模型的评估、可解释性等、画像的全面性等） 3）未来的主要发展趋势（元宇宙虚拟人）进行讨论。

赵莎(浙江大学)：感知数据，从单一数据感知某个部位动作，到越来越多的数据形式（如音频、文本等），建模方法，从最基础的用统计和概率刻画用户到自动提取的方式，使得数据得到充分利用，刻画的维度也在逐步全面化。

王程（厦门大学）：介绍了构建虚拟人的主要动机，以及两种虚拟人形式，一个是虚拟人，不存在的人虚拟出来，从无到有，如虚拟主播，另一个是虚拟替身；虚拟人的应用方面，提到到了社交的场景，面向社交网络的虚拟人，其面貌、体态、行为都未必是物理人的投影，而是可以在元宇宙中定制扩展，也提到了当下构建虚拟人存在的难点和突破点，最后表示希望通过高精度的人体动作捕捉和定位，给学界提供更多的多模态的数据集。

张雪白（厦门理工大学）：从感知人的行为这个目标去看，我们不仅可以从人的外部去感知人的行为，还可以从人的内部去感知（包括脑机眼动去感知人的行为），同时还需要从心理学的角度去了解人的认识与行为的关系，比如通过划分人的个人特质，划分情境，这些稍微变化对感知数据都有很多的影响。

周斌彬（浙江大学城市学院）：结合数字孪生与数据驱动技术，介绍如何表征不同人包含的信息，融入到虚拟人的构件中，基于近邻或社区的方法，结合线下的特征，分析群体的特征。

王跻权(浙江大学)：从用户角度，虚拟人技术可以用来研发虚拟助手，可以更好地了解自己、提供个性化服务，预判用户行为，在工作学习生活中有实际帮助。

论题3：从群智感知应用到群智操作系统的演进路线，由王乐业（北京大学）主持，从1) 群智操作系统应包括哪些功能和接口？如何和上层应用进行对接？2）群智感知落地应用难点有哪些？哪些可以通过操作系统层面缓解？3） 群智操作系统会以怎样的方式进入我们日常生活？是否需要让用户/参与者明确感知到群智操作系统的存在？展开思辨

王亮（西北工业大学）：简单说明了群智感知和群智操作系统的区别，群智操作系统更宽泛，包含网约车、无人机等等应用，还包含数据获取、数据计算、边缘计算和边缘缓存，操作系统具备的功能和接口：1-资源建模，资源调度，实现无差别 2-任务的解析：感知任务，输入数据，资源需求等 3-不同设备之间的通讯和协作以及中间设备的存储；他表示落地难点主要在于推广，即生态建设，建议针对不同的行业构建生态，进而有效推广。

於志勇（福州大学）：操作系统最大的作用是方便应用开发者，分析了目前的三代系统的特点，第一代：任务和参与的匹配，第二代 把一些大的任务切分，然后进行分配， 第三代，从切分里面的任务进行稀疏筛查，优先感知重要任务，第四代的愿景，主要是要处理不确定性，如移动的不确定性，感知不确定性，实际响应中的不确定性，解决不确定性，提出以下两个途径，一个是自上而下的集中平台管理，一个是自下而上的多节点群智配合。

刘琰（北京大学）：主要从群智感知的任务分配和资源调度分析，表示已有的平台缺乏扩展性和系统内的管理，是针对固定场景解决特定问题，而真实环境是不断变化的，包括用户任务等，可以建立图谱进行系统统一资源调度管理。在不同环境中的多模态的数据，需要从整体数据去挖掘知识，用户只需要进行简单的操作就能获取多种信息。

王乐业（北京大学）：知识图谱和操作系统的关联，他表示知识图谱的底层会有基础常识性的知识库，上层有更加专业的数据库，随着不同应用部署和不同数据收集，抽取同性的内容并进行储存，它的本质是非常有价值的，对于是否属于操作系统的一部分，是工程实现上的问题，可以被认为是一种中间件或平台。

思辨环节中，大家都踊跃参与，从不同的角度、不同的行业分享了各自的看法，就普适感知技术展开了激烈讨论。

线上合影

最后，感谢各位讲者，各位嘉宾带来的精彩内容和交流。