监督式对比学习用于情感建模

Aug, 2022

Supervised Contrastive Learning for Affect Modelling

Kosmas Pinitas, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

TL;DR通过对多模态用户输入的可测情感表征进行情感分类，并通过对比学习来训练泛化的、高水平的、融入情感信息的情感表示，提高情感模型的准确性。

Abstract

affect modeling is viewed, traditionally, as the process of mapping measurable affect manifestations from multiple modalities of user input to affect labels. That mapping is usually inferred through end-to-end (manifestation-to-affect) machine learning processes. What if, instead, one

affect modeling contrastive learning supervised learning arousal prediction multimodal corpus

发现论文，激发创造

通过少样本和多任务对比学习高效标记情感视频数据集

利用 Multi-Task Contrastive Learning for Affect Representation（MT-CLAR）结合深度学习技术，通过对表情图片的对比学习来推断表情表达的相似性，以及两个面部表情在情感价值和唤起水平上的差异，并扩展该框架用于自动化视频标注。

Aug, 2023

基于多视角对比学习提升情感分析中形式表征

本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

Oct, 2022

情感的不变基本真相

本文旨在探讨情感计算学科中如何通过转化因果关系理论，获得一个可靠的情感本质真实性，并通过在数位游戏领域的实验验证，证明这一方法可以成功侦测异常点并提高情感模型的准确性，是一个关键和决定性的情感建模尝试。

Oct, 2022

CLARA：音频表征获取的多语言对比学习

提出了一种利用对比学习进行多语言语音和声音表示学习的新框架，旨在通过减少数据依赖性、改善各种语言和条件下的泛化能力，实现多语言共享表示，以便在有限的目标语言数据中促进跨语言转移。通过从多语言数据中自我监督学习情感表示，该方法在情感识别、音频分类和检索基准测试中展示了最先进的性能，为获得跨语言和声学条件下的共享和泛化语音表示提供了一种有效的方法。

Oct, 2023

人类情感中学习标签之间的关系

该论文提出了一种利用深度学习方法处理情感识别及精神分裂症严重程度估计问题的方法，通过引入关系损失和注意力机制等手段提高了网络的性能，成功地克服了少数据、长视频等问题。实验证明，所提出的方法在精神分裂症识别领域的准确率可以取得人类专家的 85% 的准确率，优于先前的实验成果。

Jul, 2022

情感计算的深度学习：决策支持中基于文本的情感识别

本研究旨在通过深度学习和转移学习来提高情感计算中文段落情感识别精度。我们使用改进后的循环神经网络模型，并提出 Sent2affect 模型进行迁移学习。实验结果表明，我们的模型在 6 个基准数据集上表现出色，相对于传统机器学习方法有了显著提升。这些发现对情感计算的应用具有重要的启示意义。

Mar, 2018

通过对抗训练进行说话者不变的情感表示学习

本文提出了一种基于对抗训练网络来消除发言人特征并更好地表示情感的机器学习框架，在 IEMOCAP 和 CMU-MOSEI 数据集上实验表明该框架能够提高语音情感分类的准确性并增加对未知发言人的泛化能力。

Nov, 2019

提升多模态情感分析：基于受监督的角度边界对比学习的增强融合表征

通过引入一种名为监督角度对比学习的框架，以增强多模态表示的区分性和泛化性，克服了融合向量中的模态偏差，实验结果和对两个广泛使用数据集的可视化结果表明了我们的方法的有效性。

Dec, 2023

多模态情感识别中基于模态对无监督对比损失的方法

本文提出了一种基于无监督特征学习且包括对比损失的多模式情感识别方法，该方法可以减少资料标注费用、提高精确度并且无需大批量样本。相关实验数据表明，本方法比许多基线方法和无监督学习方法在多模式情感识别上表现更好，甚至超越了当前某些有监督方法的表现。

Jul, 2022

多模态情感分析中的单模编码和跨模态预测的多模态对比学习

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022