多媒体国际顶级会议ACM Multimedia于2022年10月10日至14日在里斯本成功举办。会议上公布了多模态情感识别挑战赛 MuSe-Challenge（The Multimodal Sentiment Analysis Challenge）的结果。中科院语言声学与内容理解重点实验室的张鹏远研究员带领博士研究生陈城鑫参加了此次挑战赛，并获得多模态幽默检测赛道（MuSe-Humor）的冠军。
MuSe 2022冠军证书（图/中科院声学所）
该挑战赛源于情感计算领域著名的AVEC（Audio-Visual Emotion Challenge）竞赛，其中MuSe-Humor赛道是面向自然场景下（足球新闻发布会）的多模态细粒度幽默表达检测。团队通过大规模预训练模型进行多模态特征提取，并提出了一种基于Transformer的端对端联合建模框架[1]，利用模态间交互信息对模态内的语义空间实现动态调整，并通过一种基于多模态时序随机掩蔽的数据增强手段解决小样本和鲁棒性问题，对多模态情感分析技术的发展具有重要意义。
基于Transformer的多模态情感表征联合建模框架示意图（图/中科院声学所）
MuSe 2022是由ACM Multimedia举办的第三届多模态情感分析挑战赛，由英国帝国理工学院、德国奥斯堡大学等高校共同发起，吸引了40余支来自瑞士洛桑联邦理工学院、新加坡南洋理工大学、意大利都灵理工大学等世界著名大学和科研机构队伍参赛。
[1]论文链接：https://dl.acm.org/doi/10.1145/3551876.3554805