国家站在大交通的高度，通盘考虑、合理构建多元协调的交通体系，宏观战略性地调配铁路、公路、民航、水运等交通资源。视频监控作为智慧交通最重要的组成部分，为缓解城市交通压力提供了解决方案。过去30多年的发展中，视频监控先是实现了“看得见”、“看得清”的目标，后在AI技术加持下加快进入了继高清化和网络化之后第三次技术变革时代。视频监控技术的进步不仅仅是电子警察的升级换代，从交通运输管控方面，还有哪些需要“看得懂”的需求，水运和海运的船只管理等大交通范畴下“看得见”的基本需求是否已经满足等疑问仍然存在；从交通参与者方面，随着智能网联汽车的发展，通过车载视频监控感知周边环境能力大幅提升，如何利用车载视频技术实现对车辆的高效监管与调度，协助监管部门解决现有车辆的动态管理问题方面还有哪些技术难关需要攻克；从交通基础设施运维方面，视频监控系统可巡查监测路面以及机场､高铁站､海港港口各类场站的实时图像和环境信息，该如何利用这些信息智能地、及时地发现危险隐患，保障交通设施与出行人员的安全和交通的畅通。

在这一背景下，CCF YOCSEF天津于2022年10月23日以线上线下相结合方式举办题为“视频监控技术在智慧大交通中的应用难点”的技术论坛，由天津财经大学副教授王朕（YOCSEF天津副主席）、中汽数据（天津）有限公司技术经理沈永旺（YOCSEF天津AC委员）共同担任执行主席，天津科技大学教授陈亚瑞（YOCSEF天津AC委员）担任线上主席，邀请到包括天津市交通运输委员会、天津市多所高校、视频相关的多家企业的领域专家，从管理方、参与方及运维方三个角度对视频监控技术助力智慧大交通进行讨论。

论坛首先由四位引导发言嘉宾分别从政府决策、学术界、产业界不同角度对“视频监控技术在智慧交通上的应用、发展以及挑战”发表观点论述。天津市交通运输委员会天津市综合交通大数据实验室（筹）刘瑜主任的引导报告为“交通视频应用情况及展望”，从相关国家政策、交通视频建设现状、主要存在问题、发展展望四个方面进行展开。报告指出交通是视频系统应用起步较早且使用范围广的行业，同时交通中部分应用场景非常成熟。通过视频识别可以在路面交通中识别车牌号，在各种车站出入口进行人脸识别检票，同时可以检测到公路面车辆及行人异常行为，可以辅助自动驾驶车辆主动识别预防路面事故，并辅助设施进行养护巡视及识别路面病害等。同时对于交通视频应用面临或正在探索的发展方向给出总结，具体包括：视频设备群之间交通行为系统性研究，视频设备群识别环境对出行诱导研究，无人交通工具与视频结合的细分领域，提高视频设备群的整体智能化，及特殊领域的视频应用（如气象因素与高速通行）等。

图1 交通视频应用情况及展望

天津大学胡清华教授从学术界的角度进行“动态开放环境机器视觉新挑战”的引导报告，主要从动态开放环境下机器视觉的挑战及如何应对新挑战两方面进行发言。报告指出动态开放环境的视觉数据具有类别多、数据细、小样本、长尾分布、数据变化广、噪声大等特性，同时容易受到外界环境的干扰。面对这些挑战，从数据层面和模型层面综述了解决这些问题的新模型、新算法，包括基于高阶网络的细粒度视觉识别，在线可控的目标检测数据增广，基于鲁棒OpenMax的细粒度开放集识别，基于动态知识蒸馏的类增量语义分割，恶劣环境下的图像复原等等。在动态开放环境下机器视觉新挑战方面，该报告给出了很多思考与启发。

图2 动态开放环境机器视觉新挑战

中国科学院自动化研究所紫东太初多模态中心常务副主任王金桥研究员，从智能交通的科研到落地角度给出主题为“感知决策融合的立体化智能交通”的引导报告。报告指出随着新时代智慧交通的发展以及现实交通需求，全息感知与决策成为未来交通和无人驾驶的核心驱动力，实现交通的精细化管理对于提高交通运行效率和强化交通安全管控措施来说至关重要。以全目标感知、多元异构计算技术为核心，以人、车、路三要素为抓手，面向高速路、城市路、乡村路三大核心交通场景，研究智能交通云控平台和全系列智能交通边缘计算单元，精心打造了以“感知-融合-管控-服务”为核心的“端云融合决策优化”全域智能智慧交通运营和治理体系，为交通出行的安全与畅通服务。

图3 感知决策融合的立体化智能交通

天地伟业技术有限公司方案管理委员会主任兼方案总监张云飞从企业界角度进行了题为“视频监控在智慧交通的应用”的引导报告，该报告指出视频监控经历了“看见”、“看清”、“看懂”三大发展阶段，尤其是在AI赋能后，为城市交通管理起到了至关重要的作用。然后报告针对视频监控在城市交通管理中的应用原理、应用场景、应用技术以及应用效果进行展开讨论。最后，张云飞表示科学发展的速度远比我们想象中更快，让我们满怀信心迎接下一个十年。

，

图4 视频监控在智慧交通的应用

四位引导嘉宾发言结束后论坛进入激烈的思辨讨论环节，与会嘉宾围绕三个议题分别从社会科学、学术界、产业界、参与者体验等多方面进行深入思辨并发表观点。

议题一：视频监控技术助力对交通场景从“看得清”到“看得懂”的认知难点有哪些？

观点一：视频监控技术落实到交通场景，是由“看得清”逐渐发展到“看得懂”。“看得清”主要依托摄像头的精度，更重要的挑战在于“看得懂”。“看得懂”中的挑战分为两个层面，一方面是准确识别视频图像中的内容，另一方面是可以将看到的内容与具体语义、场景联系起来。这两个方面的实现才是真正达到“看得懂”的效果。

观点二：视频监控中“看得清、看得懂”的概念定义还不是很清晰，不同的用户需求是不一样的，对“看得清、看得懂”的需求也是不一样的，需要结合用户的需求来定义“看得清、看得懂”。同时对于企业来说最终目标是“用户的需求”，用户的需求决定了“看得清、看得懂”的具体含义。比如从公安系统角度出发，看得清是看清楚人脸，看的懂是能识别当前的人是谁。

观点三：实现智慧大交通需要综合各种传感器数据，视频监控中的“看得清、看得懂”也需要综合各种手段，除了视频还包括音频、雷达等数据，最终将各种数据融合形成人、车、地、事、物全要素的交通数字化综合智能平台，才能实现真正的智慧大交通。

观点四：虽然摄像头进入高清时代，但是要在真实交通场景下达到“看得清、看得懂”，还存在很多困难。在看得清方面：对于某些特殊应用场景，如桥梁、铁路等，采用固定式监控视频需要结合无人机等辅助设备才能看清；在开放动态环境及极端天气情况下，如团雾、雨雪，看清也存在挑战。在看得懂方面：需要将监控视频与业务场景深度融合才能达到看得懂的效果；如何将人类认知的先验知识融合到视频进行推理，是重要的思路也是研究难点。

图5 思辨环节嘉宾风采，左起：天地伟业任少卿、南开大学卢冶、海康威视乔允仕、中国民航大学刘才华、天津大学张鹏

议题二：认知交通场景的关键是否在于大量的视频数据的标注？

观点一：不同场景下对“看得懂”的认知是不同的，自动驾驶领域是指目标的属性，是对目标现在状态进行描述，并对未来状态进行预测，这里面会存在长尾效应、各个目标之间的交叉造成遮挡、动态极端环境影响等问题。解决这些问题的主流可能是基于先验知识的识别方法，而先验知识的获取还是基于标注，标注工作还是很重要的，短时间内还无法被取代。传统标注是人工标注方法，现在也在进行半自动化的标注，但是还是需要人工进行审核。传统标注还存在三个挑战：第一，随着模型的变化，随着多种传感器的引入，视频标注的内容会不会有变化；第二，标注的方法是不是有进步或改变；第三，标注效率问题能不能得到提升。

观点二：交通场景下一定需要大量的标注数据，如何更好的进行数据标注共享也是当前企业、高校关注的问题之一。传统情况下大量数据标注由企业根据自己需求进行独立标注，并且大部分情况下不进行数据共享。现在除了企业独立标注外，很多企业开放了云平台，很多个体可以利用云资源参与模型训练及数据标注中。同时高校及企事业单位现在已经组成产业联盟，如民航局主导的“中国民航运维数据联盟”有100多家企事业单位参与，在联盟内部进行数据共享，但是数据安全是数据共享重要顾虑之一。

观点三：标注数据是智能交通场景的关键问题之一，但是数据是不断产生的，每天都产生大量新的场景新的数据，数据标注的速度是赶不上数据增加的速度的，同时很多场景下也很难获得标注数据，数据集中没有标注的数据远多于标注数据。所以，基于大量的无标注数据或少标注数据进行模型、算法研究是非常重要的研究点；利用生成模型去生成一些难标注的数据也是一个有趣的研究方向；除了标注数据，利用背景知识结合推理技术也是交通场景认知的关键。

观点四：数据标注现在还没有统一的标准，缺少一套完整的方法体系。能不能由大公司进行主导，由权威机构进行方法的定义，分场景、分任务、分级、分类的形成行业的规范，建立有参考标准的完整体系？数据标注标准化对数据有效、安全、可信的流通是非常重要，也是数据共享的基础。

图6 思辨环节嘉宾风采，左起：中汽数据有限公司张庆余、启硕科技张伟、河北工业大学许铮铧、天津交通运输委刘瑜、泰凡科技王林

议题三：推广视频监控技术提升智慧大交通运维能力的发展方向有哪些？

观点一：智慧大交通下交通设施养管量非常巨大，养护资金不足，如何进行科学决策使资金高效利用是需要研究的问题。同时养管部门对运营安全要求越来越高，如何利用视频监控技术解决设施养护运维的安全问题也是重要的研究点。

观点二：未来视频辅助智能交通有三个层面：感知层面，从固定式感知到移动感知，从单一感知到多维度感知；在认知层面，如何将感知层面感知的数据与应用场景深度融合；数据层面，很多实际应用中需要采集大量的数据，数据的标准化对数据安全及共享共用非常重要。

观点三：当前基于视频的数据处理主要是利用大量标注数据进行深度模型的训练，去解决智能大交通中的问题，包括道路拥堵监控、道路的维护等，但是就当前的模型到什么程度才是安全的应用于实际场景中是一个非常重要的内容。现在模型的评价是准确性、召回率，安全性是不是需要作为一个重要指标指导实际应用，比如模型能够应对多少数据投毒攻击，应对多少分布式攻击等。

图7 思辨环节嘉宾风采，左起:天津大学刘爽、天津交科院何立忠、中国民航大学李海丰、天津大学王鑫、天津超算中心夏梓峻

论坛最后，CCF YOCSEF天津主席卢冶进行总结发言，对本次论坛活动给予了充分肯定。同时希望与会嘉宾业界同仁持续关注并支持CCF YOCSEF天津的活动。

图8 CCF YOCSEF天津“视频监控技术在智慧大交通中的应用难点”技术论坛