简介：洪晓鹏，男，哈尔滨工业大学，教授，博导，IEEE资深会员。历任芬兰Oulu大学博士后、科研型副教授（Docent）和西安交通大学特聘研究员。主要从事智能目标感知、深度连续学习、多机策略分配与协同等方面研究。先后主持国家重点研发计划课题、面上基金、芬兰信息技术学会博士后基金等项目10余项。已在顶级国际和国内刊物和国际会议上发表文章80余篇，其中入选ESI高被引论文1篇，芬兰年度最佳学生会议论文奖1篇和ACM MM22会议优秀论文奖1篇。相关工作见诸美国《麻省理工技术评论》等技术媒体专文报道。拉斯维加斯手机娱乐网站 情感计算与理解专业委员会副秘书长，黑龙江省计算机学会学术工作委员会副主任、奖励工作委员会秘书长。

问：请介绍一下您的研究团队及目前从事的研究领域和成果？

洪晓鹏：我的研究团队隶属于哈尔滨工业大学计算学部智能接口与人机交互研究中心（如图1所示）。研究中心由高文院士在上世纪90年代初创建，在计算机视觉、视频编码、图像处理等方面具有深厚的技术积累，先后承担国家973计划课题2项、国家重点研发计划项目1项、自然科学基金重点项目2项等，获得国家及省部级奖励13项，包括国家技术发明二等奖1项、国家科学技术进步二等奖2项。我的团队是一支充满活力、敢于挑战的年轻队伍，紧跟国际学术前沿，面向智慧城市、智慧安防、智慧交通等重要场景的需求，致力于计算机视觉和人工智能领域的前沿技术研究，集聚力量进行方法与技术上的创新。我们团队在智能目标感知、深度连续学习和多机任务分配与协同方面开展了深入研究，并取得了一系列研究成果：（1）建立了多传感器协同关联和测度回归的多目标感知框架，显著提升了复杂环境下目标跟踪、定位、计数和动作识别的性能，为目标轨迹、密度、身份和行为的有效感知提供了新方案。（2）构建了记忆拓扑保持的模型连续学习框架，提出了层次化拓扑保持方法，定义了去中心化增量学习、小样本类增量学习等学习问题，为连续学习研究拓展了新思路。（3）建立了“单机-多体-集群”的多尺度作业分配策略，提出了基于任务关系建模的分批任务调度和路径遍历算法，为大场景异构机器人混合作业分配与规划开辟了新途径。

截至目前，团队先后承担了国家重点研发计划课题、自然科学基金项目、芬兰信息技术学会博士后基金等项目10余项；已在顶级国际和国内刊物和国际会议上发表文章80余篇。获ACM Multimedia 2022 优秀论文奖和芬兰2020年度最佳学生会议论文奖。相关工作见诸包括美国《麻省理工技术评论》和英国《每日邮报》在内的国际权威媒体专文报道；获CVPR2021人机共存环境下机器人导航视觉感知2D检测与2D跟踪挑战赛、ECCV20 Visdrone无人机航拍多目标追踪挑战赛等5项国际竞赛冠军；共有两项成果进行了转化和应用示范，并有六件算法入选鹏城实验室智能算法仓。

图1 智能接口与人机交互研究中心老师代表合影（洪晓鹏教授：右三）

问：您主要开展的智能感知和连续学习技术目前存在哪些研究难点？能谈谈其未来发展方向吗？

洪晓鹏：智能目标感知是计算机视觉和人工智能的核心任务之一。其基本问题可以简要描述为，给定输入图像或视频，对所包含的感兴趣目标的轨迹、密度、行为等进行跟踪、计数、识别和预测，从而形成前景目标的“画像”（如图2所示）。它是如自动驾驶、智能安防、医疗健康、交通治理等诸多任务的关键核心技术，在城市、交通、安防等方面发挥着越来越重要的作用（如图3所示）。尽管目标感知在有监督学习范式下取得了一些进步，但该领域的研究依然存在一些问题。首先，传统目标感知方法和模型往往基于数据理想的假设，即要求训练数据与测试数据独立同分布、训练数据标签完备、数量充足、数据集中。然而现实复杂场景下的应用往往难以满足这些假设。因此，如何进行标签高效的目标感知，实现弱监督、小样本、低信噪比等情况下的高效建模，一直是一个热门的研究方向。其次，现实场景往往配置了多种传感器，如何利用不同传感器不同模态的信号进行协同感知，是迈向现实复杂场景智能目标感知的关键问题。此外，为提升模型适应能力、应对现实环境中处理数据分布分散的情况，数据非集中式的感知建模，包括处理数据空间非集中分布的分布式学习方式和处理数据在时间上非集中分布的连续学习方式，正逐渐受到越来越多的关注。

图 2 智能目标感知的任务目标是获得包含多种属性的前景目标画像

图 3 智能目标感知的典型任务和应用

连续学习，顾名思义就是让模型持续学习不同的任务，使得模型不断进化，获得更强能力的过程。可以说，要实现真正的强人工智能，使智能算法具备终身学习能力是一个必备条件。连续学习最主要的难点在于如何缓解灾难性遗忘，即当模型针对新任务进行微调和更新后，如何同时保持旧任务的建模能力，防止在旧任务上性能的急剧下降。目前连续学习研究出现了许多优秀的方法和技术，例如知识蒸馏、数据重放和网络扩张等，在一定程度上缓解了灾难性遗忘，但是要彻底攻克这一难点，仍有许多悬而未决的开放问题。比如，一方面，如何做到既能最大限度保留大模型的先验知识，又能使其建模能力不断扩展，从而实现在大型基础模型上的连续学习；另一方面，如何在多种传感器，多种模态信号下进行模态协同的连续学习，在多模态基础模型上实现模型的增量进化。这些问题都需要进一步的研究。

图 4 洪晓鹏教授多次受邀在国际国内会议上介绍连续学习领域的研究进展

问：能分享一些您的海外工作经历吗？海外工作氛围与国内工作氛围有什么区别？

洪晓鹏：2010年博士毕业后, 我在芬兰留学工作多年，曾先后担任芬兰奥卢大学的博士后、研究员和科研型副教授（Docent），是芬兰奥卢大学机器视觉与信号处理中心理事会成员。在这期间，曾与国际模式识别学会终身成就奖得主Matti Pietikäinen教授和Guoying Zhao教授（欧洲科学院院士）共事。并分别于2016年和2018年受邀访问澳洲国立大学Fatih Porikli教授（FIEEE）和美国马里兰大学Rama Chellappa教授（美国工程院院士，国际模式识别协会终身成就奖获得者）。此外，我还曾有幸与英国皇家科学院院士Maja Pantic教授等开展合作研究，并一起在ACCV2016会议上组织了学术研讨会。（如图4、5所示）。

就我个人体验来讲，海外工作氛围与国内工作氛围还是存在显著差异的。海外工作往往更注重科研选题的自主性和开展研究的独立性，研究人员通常可以更灵活地安排科研的方向和节奏。相比之下，国内的工作氛围更注重任务导向和团队合作，研究人员通常会面临更紧张的工作节奏和考核压力。我深刻感受到，中国国力和学生素质的不断提升，正在为国内的科研人员提供了更为丰富的项目资源、更多更优秀的学生资源，以及更为广泛的可供成果转化的企业和平台。对我而言，海外工作经历让我接触到了不同的学术环境和文化背景，帮助我打破固有的科学思维定势，推动我进行科学研究和学生培养思路上的思考和融会贯通。这段特殊的历史窗口期，也让我经历了计算机视觉领域从手工设计到深度学习的技术变革，经历了国内大学人工智能研究水平从学习欧美到基本超越欧洲的突破，经历了从身边人普遍毕业即出国到近年来留学归国成为趋势的变迁。它让我坚定回国工作、投身国家建设的信念，同时也引发我对融合东西方教育理念、培养新时代人工智能人才的深刻思考。这些信念和体会已逐渐成为我自己在科研、教学乃至培养学生过程中无法分割的一部分。

图 5 洪晓鹏教授注重国际合作与交流

问：您对学生的指导和培养有何看法和方法？

洪晓鹏：我平时比较注重培养学生的科研兴趣和激发学生的科研热情，做到既发挥师者主导作用，又激活学生的主观能动性。一方面，鼓励学生在科研讨论过程中畅所欲言，敢于在符合科学逻辑的情况下提出不同意见。另一方面，鼓励探索、包容失败。在培养学生的过程中，我有意识地去包容学生在科研中的过程性失败，避免一味苛责，侧重学生思维中的闪光点，让学生尽量在无后顾之忧的情况下放手去思考和解决问题。在不违反科学原则和学术道德的前提下，最大限度去正向反馈学生原始的思路和想法，引导学生深入探究问题背后的深层次科学原理，帮助学生把不成熟的初步想法升华落实。这种培养模式促使课题组呈现良好的氛围，团队成员从进入团队到毕业都会呈现较为明显地全面提升。比如，我指导的硕士生林卉受到鼓舞，坚定了从工商管理到计算机的专业转变，本科在课题组实习时即在CCF A类会议发表一作论文，研二时已累计发表CCF-A类会议三篇，并获得了西安交通大学研究生标兵称号（每年仅16名）。除此之外，我特别鼓励科研与竞赛、实践的结合，推动研究生参与科研竞赛和研发实习，在实践中去探索和研究科学问题，去验证算法的实用性能，取得了较好成效。截至目前，我指导学生获得了五项重要国际比赛的冠军和教育部智慧城市竞赛等两项国内竞赛冠军（如图6、图7所示）。合作指导的博士生马智恒获评2022年世界人工智能大会云帆奖（创业类）。我本人也因为在竞赛指导工作上的表现获评2019年度校级竞赛工作先进个人称号。我合作指导的学生丁文杰在其硕士论文中致谢道：“他在我最迷茫困惑的研一时期加入了我们实验室，他像一束阳光投射到我当时灰暗的科研生活。”收获学生如此的反馈是对我育人理念和实践的最大肯定。作为一名导师，我既欣慰又幸福，同时也时刻感到身上重担的分量。我深信，每位学生都有各自的优势和潜力，我的使命是引导他们发现和发挥自己的优势，并在科研领域中取得相应的成就。

图 6 洪晓鹏教授指导博士生做实验

图7 洪晓鹏（左二）带队参加研究生创新实践系列大赛