微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由拉斯维加斯手机娱乐网站 （CSIG）和中国科学院心理研究所主办、CSIG机器视觉专业委员会和CSIG情感计算与理解专业委员会联合承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

      第三十五期云上微表情于2022年12月12日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次活动邀请了微表情分析领域知名学者专家，包括中国科学院计算技术研究所的韩琥研究员、芬兰奥卢大学的李晓白助理教授、中国科学技术大学的王上飞教授、中国科学院心理研究所王甦菁副研究员、英国曼彻斯特城市大学Moi Hoon Yap教授和东南大学的郑文明教授，以线上沙龙的形式探讨在深度学习蓬勃发展的今天，微表情智能分析的研究现状和未来研究方向。此次讲座得到了微表情研究领域的广泛关注，期间有近百名听众参加了此次讲座。

首先主持人李博士对参会嘉宾进行了简要介绍。

接下来，嘉宾们就微表情智能分析的六个方面展开了深入探讨。

 1、机制

问题：微表情的生理机制尚不明确，一定程度上限制了微表情的广泛应用。仅将微表情作为面部表情的一个子类是否足够，微表情的生理机制是否有必要探究？如何通过跨学科的手段，探究和验证相关的生理机制？

李晓白老师指出目前针对微表情的定义还主要是在操作定义层面，在脑机制层面的探索或者行为层面的相关研究还十分缺乏，希望心理学领域的学者和同学们能够在这个领域展开进一步的研究。

Moi Hoon Yap老师也提出微表情机制的研究需要从生理方面由更多的专业人士来解答这个问题。

郑文明老师也提出如果能够很好地理解相关机制，就可以在特别是模型层面挖掘更多和情感的有效信息。

韩琥老师通过从人脸心率估计的机制理解展开论述，提到机理的理解能够帮助在模型设计上找到更有的手段，进一步帮助微表情的分析与理解。

王上飞老师也表示，面部表情是由面部肌肉运动组成的，如果能够将底层的机制研究清楚，有助于我们更好地理解或者感知其在视觉层面的表达。

王甦菁老师提到，之前微表情的定义缺乏实证研究。未来如何通过脑电等途径进一步探究微表情机制仍有待思考。

2、数据

 对于微表情分析以及相应的异常情绪检测，普通摄像机采集的视觉模态是否足够？在多模态分析的大趋势下，是否采集越多模态越好？哪些模态更有助于帮助机器更好地挖掘个体的真实情绪？什么样的数据库是当前微表情智能分析所需要的？我们应该怎样构建这样的数据库？

Moi Hoon Yap老师提到除了和视觉相关的3D甚至4D模态的数据，和微表情相关的生理数据也很有必要。但是由于微表情本身微弱短暂的特性，生理数据的记录需要更加精确。

李晓白老师也指出生理数据的采集是更加独特和必要的，而且将有助于第一个问题中提及的微表情机制的研究。此外，在视觉模态方面，对于微表情分析这一具有挑战性的方向，普通摄像机还是3D4D亦或是近红外热成像的相关数据，仍然是值得研究的。

韩琥老师从人脸识别的数据库发展进行了延展，指出微表情数据库的场景设计也十分重要。此外，生理信号的采集可以和传统的视觉信号形成对照，甚至可以实现微表情的精标注。

郑文明老师也指出目前大部分微表情数据库是在实验环境下采集的，未来希望能够结合应用的需求，通过人机交互等方式诱发微表情。例如郑老师等人构建的针对虚假意图构建的数据库，与审讯安全等领域关联密切。此外，针对多模态数据，微表情是情绪行为表现的一种方式，多模态的数据对于情感计算是有必要的。对于部分多模态融合模型性能下降的问题，更多是设计层面的原因，需要考虑决策方面的设计。

王上飞老师也指出基于实验室环境采集的数据训练得到模型，应用到实际场景中，存在数据偏差的问题。面对实际场景的数据采集对未来的研究会更有帮助。此外，个体对对方进行情绪的分析与判断时，是一个综合的决策。因此，如果能够结合热红外、生理数据、微姿态等模态，也许可以实现对用户真正的情绪分析。

王甦菁老师呼吁大家能够在同一的标注，诸如诱发范式和采集数据模态的情况下，联合构建更大规模的微表情数据库。

3、标注

什么样的标注是对微表情分析最合适的？基于AU的客观组合、六种基本情绪、复合情绪或者只考虑效价（正性、负性、惊讶）？

王甦菁老师希望未来能够将微表情的标注与实际应用需求相结合，例如在公安审讯中，紧张会被作为一种特殊的情绪而被重点关注。如果我们将这种复杂或者微妙的情绪标注出来，也许更易于将微表情分析推广到实际应用中。

Moi Hoon Yap老师指出，作为一名AU编码者，通过肉眼标注微表情是一个极具挑战性的任务。在标注微表情的情绪类别的时候，需要考虑刺激材料的情绪类型、被试的自我报告以及标注人员的标注结果来综合判断，需要非常小心。如果能够将微表情标注这个方面做得更好的话，会更好地推动微表情智能分析的发展。

王上飞老师提出，因为AU的定义和类别是比较明确的，也许使用AU会相对更加客观一些。由于人工标注会导致标签之间存在一定程度的噪音或者不确定性，可以尝试通过人工或者算法的角度去削弱这种不确定性。此外，对于婴幼儿面部表情的研究和标注也值得进一步探索。

李晓白老师指出针对微表情的AU和情绪类别之间的关系仍有待探讨。特别是，相较于宏表情，微表情的运动幅度相对较小，很多时候并不是一个完整的面部动作。希望未来能够组织专门针对微表情标注的研讨会，同大家进一步明确一些实际标注过程中遇到的问题。此外，针对微表情的情绪类别的探讨，基于微表情的机制，李老师提出可以捕捉与被试意图相反的真实情绪的流露。

韩琥老师指出不同维度的数据标注可以在数据层面形成一个较好的支撑。借助机器算法也许可以提升标注的效率，与人工标注互补。另外，测试集的标注可靠性对于性能验证十分重要。

郑文明老师表示，和表情标注相比，微表情标注更多的体现为编码的问题。混合情绪的标注可能会更加合理。此外，标注微表情的时候，也可以与场景应用相结合，例如以其虚假意图为标注。

4、模型

部分微表情识别算法目前的准确率可以达到80%以上，该识别性能是否已经达到饱和？未来我们应该关注微表情分析的哪些方面？ 微表情分析可以从别的研究领域，例如文本情感计算、基于生理信号的情感计算、宏表情识别等中学到什么？

王上飞指出，80%的识别率还是无法达到较精准的应用需求。目前比较流行的模型和方法都是值得借鉴的。此外，除了基于视觉的算法，亦可通过跨模态的方法来更好地挖掘微表情的表征。

韩琥老师提出针对微表情样本量比较小的情况，可以通过一些自监督或者半监督的方法，进一步挖掘数据中有用的信息。

郑文明老师提出目前针对微表情算法准确率的评估还是基于实验环境下的数据库，而在交互场景中产生的微表情复杂度会更大，因此这方面仍值得进一步的挖掘。另外，除了微表情识别，微表情检测也是实际应用中不可或缺的步骤，如何能够在复杂场景中检测微表情的发生也值得进一步研究。最后，郑老师提出，微表情分析算法借鉴别的模态的模型构建，例如脑电电极的关联关系研究可以被借鉴到面部动作单元的关联性研究中。

Moi Hoon Yap老师提出通过连续几年国际微表情挑战大赛的组织，微表情识别的性能也在逐年提高。希望未来有更多不同国家和地区的学者参与进来。此外，除了在实验场景中的微表情识别性能评估，in-the-wild的微表情分析需要更多的探讨和研究。

李晓白老师表示，目前微表情的性能评估依赖于数据集，并且场景简单。如何将微表情推广到实际应用中，还有很多进步空间。另外，李老师也提出了微表情检测任务对于微表情分析的重要性。

王甦菁老师对几位老师的发言非常赞同。在未来的研究中，微表情检测以及复杂场景中的微表情识别值得进一步的挖掘。

5、应用

微表情分析如何在国家安全、医疗关怀等应用中体现自身价值？基于特定场景的定制模型和具备泛化能力的模型如何平衡？如何在不影响个体隐私的情况下，采集和应用敏感场景的数据并实现相应的微表情分析和真实情绪检测？

郑文明老师指出微表情在安全领域和医疗领域都有相应的出口。在与应用联系紧密的情况下，定制的模型可以更好地发挥作用。而从技术发展的角度来看，我们也需要不断构建泛化性能好的模型。而针对隐私问题，可以通过例如联邦建模这种连续学习的角度来解决问题。

韩琥老师特别关注了精神健康这一领域，如何能够通过微表情等自然的检测手段对用户进行长期的健康监测，是一个非常重要的应用点。另外，对于一般的研究机构，大模型的训练成本高昂。基于一些开源的低成本的模型，通过迁移学习等手段，实现对一个具体场景的支撑，是可行的方法。关于数据隐私的问题，韩老师指出对被试公开透明地说明实验目的可以帮助实验更顺利地开展。

王上飞老师指出微表情在公安审讯领域更侧重于检测与分析，而在医疗关怀领域，在识别用户情绪的基础上，还需要干预和辅助的相关交互，这是目前情感计算领域很值得进行研究的一个方向。关于数据隐私，王老师指出除了通过本身使用数据过程中对被试的隐私保护，也可以通过一些隐私保护的人工智能算法实现相应的目的。

由于微表情分析极易受到环境噪音的影响，王甦菁老师建议在一个固定场景中采集和分析数据，比如在某个特定的审讯室中，保证光照等因素为恒定的状态。基于该特定场景的数据构建模型、应用模型并不断迭代提升模型性能，这是微表情最快投入应用的一个途径。

李晓白老师提出交互是微表情应用的一个关键词，如何能够在交互过程中实现微表情的检测与分析，是大家都面临的一个与挑战。另外，关于数据隐私的问题，李老师提出通过De-identification，仅保留微表情的空间和动作信息，是一个很有价值的研究方向。另外也可以通过由国际微表情挑战大赛提出的微表情生成任务，人为地生成一些数据，也是避免隐私问题的一种手段。

Moi Hoon Yap老师表示除了在国家安全、医疗等领域，微表情在招聘领域也有一定的应用价值。如何通过微表情帮助公司招聘到合适的人选，也是一个值得研究的应用。

6、科研/文章

作为审稿人和编委，近两年的微表情相关的文章趋势是怎样的？什么样的文章会让您眼前一亮？

王上飞老师作为IEEE Transactions on Affective Computing的副主编，指出她在自己阅读论文的时候，会偏向于一些有助于理解整个框架的综述性论文。如果是偏技术性的论文，王老师会通过摘要以及相关工作的部分，了解作者对于现有工作的分析，以及如果针对现有工作的弱点提出自己的方法。

郑文明老师作为IEEE Transactions on Affective Computing的副主编，提出在微表情分析领域，他会更加关注针对微表情检测和微表情动作放大等微表情研究领域的基本问题。

韩琥老师提出，针对技术性的文章，如果借鉴其他领域的方法，一方面可能需要最早打响第一枪；另外一方面，可以针对某些问题进行更深入的研究，将已有的方法发挥出更大的价值。

Moi Hoon Yap老师表示她对目前技术有改进或者理念上有创新的文章会更感兴趣，例如构建新的数据库、在交互场景下的研究、以及不同文化背景下的微表情分析。

李晓白老师提到一些交叉学科的研究，例如神经机制或者行为等，或者是研究比较深入的文章会更加受到她的关注。如果能够在更高的层面或者更宏观的层面进行对比和review，也是很有意义的工作。能让读者学到东西或者对该领域有一个更新的认识，都是非常令人感兴趣的文章。

王甦菁老师提出可以通过直观的方式将复杂的事情描述出来的文章是他十分欣赏的。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第三十六期CSIG云上微表情活动进行了预告。敬请继续关注！

此次讲座的回放已经发布在B站：https://www.bilibili.com/video/BV1AM411U7Dy/?share_source=copy_web&vd_source=ae0bade9a801abdd0a61f0e56ccba7ba，欢迎观看！

最后，中国科学院心理研究所微表情实验室（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。