2022年12月25日下午，PRCV 2022专题论坛“基于学习的机器人操控”成功举办，本次活动由拉斯维加斯手机娱乐网站 （CSIG）主办、CSIG机器视觉专委会承办。论坛邀请了董豪、杨耀东、李强、杨超、张翰博这几位专家来做精彩的专题报告，以线上会议结合直播的形式举办。

图 1 论坛以线上会议结合直播的形式举办

       论坛由北京大学董豪助理教授致开幕辞。本次论坛主题多样，内容丰富，得到了广泛的关注，参加线上会议和观看直播人数超过2000人次！

图 2 北京大学杨耀东作报告

       来自北京大学的杨耀东老师带来了题为“基于合作博弈的双灵巧手操作控制”的报告。报告主要介绍了多智能体合作的学习算法。首先杨老师指出了训练多个强化学习智能体并使其进行博弈是具有挑战性的，主要原因是在求解博弈均衡、例如纳什均衡时不存在多项式解法，杨老师的工作首次证明了多人马尔可夫博弈的纳什均衡计算是PPAD的。随后，杨老师介绍了基于置信域方法的多智能体强化学习算法。该方法的原理是基于多智能体优势函数分解引理，该引理不需要借助任何假设，例如individual-global-max假设而在合作博弈中普遍成立。基于此分解引理，我们可以进一步推出HATRPO、HAPPO、multi-agent transformer等多种具有单调递增性保证的多智能体强化学习算法。多智能体合作学习算法在双灵巧手控制上取得了成功，在仿真环境中，取得了高灵巧度的双手操作技能，并且也获得了NeurIPS 2022 MyoChallenge的转骰子比赛冠军。

图 3 德国比勒费尔德大学认知交互技术中心PI-李强博士作报告

       德国比勒费尔德大学认知交互技术中心PI-李强博士从基于感知和控制环的角度探讨了机器人的灵巧操控问题。充分利用触觉和视觉的反馈，李强博士结合操控理论方法和应用演示视频，深入浅出地介绍了触觉伺服和视触觉融合伺服。最后李博士使用未知物体的触觉探索、抓取及机器人使用工具灵巧操作为例讨论了该控制方法在现实世界中应用。

图 4 北京大学董豪作报告

      来自北京大学的董豪老师带来了题为“可泛化的机器人操纵控制表达”的报告。报告一开始，董老师讨论了面向统一的机器人操纵需要解决的一些问题，及解决这些问题的宏观思路。然后董老师介绍了一套机器人操作控制表达方法，这套方法论覆盖了铰链式物体操纵、交互感知、多机械臂协作等一系列功能，并展示了真实机器人的例子。最后，董老师讨论了他对未来机器人学习范式的观点和下一步的研究计划。

图 5 上海人工智能实验室杨超作报告

      来自上海人工智能实验室的杨超老师带来题为“高效示教下的机器人观测模仿学习”的报告。报告中，杨老师首先讨论了示教引导下机器人技能学习的背景和优势，以及现有的模仿学习方法，包括行为克隆、对抗式生成模仿学习方法框架均可以统一在散度最小化的逼近理论方法。然后，杨老师介绍了在散度逼近理论框架下示教不完备情况下的模仿学习方法，从理论和实践两个方面给出了解决思路和实验结果。最后，杨老师讨论了基于无监督技能集学习和顶层策略的决策大模型研究计划。

图 6 字节跳动张翰博作报告

       来自字节跳动人工智能实验室的的张翰博博士带来了题为“基于语言交互的场景理解与机器人抓取”的报告。报告指出，在该问题中重要的三个研究问题：场景中基于物体语义的抓取问题、场景中物体间关系的理解、以及基于自然语言的人机交互问题。报告重点就这三个问题进行了相关的探讨，并分别提出了基于学习与规划算法的解决方案。相关实验表明，目前的技术已能够初步解决复杂场景中基于语言交互的物体抓取问题，但仍存在诸多开放性挑战。

       闭幕式上，北京大学董豪老师做总结发言，组织专家讨论了当前机器人学习的技术难点、核心挑战，以及大家觉得值得优先深入研究的一些问题。最后论坛圆满结束，专家们诚挚地祝贺PRCV成功举办，并希望能邀请各位专家适当时候相互访问做线下交流。