Mar, 2023

基于 Transformer 的自监督多模态表示学习在可穿戴情感识别中的应用

PDF
TL;DR提出了一种基于多模态数据融合的自监督学习框架，采用时间卷积模态特定编码器和基于 Transformer 的共享编码器实现高效融合，自动分配标签并使用先验任务进行预训练，从而实现 generalized 的多模态表示，最终在各种情感识别任务中取得了最新的成果，并在低数据规模下证明了比完全监督方法更准确、更强健的性能。
wearableemotion recognitionself-supervised learningmultimodal fusiontransformer-based encoder
发现论文，激发创造
  • 个性化预测多模态时间序列数据上经常性压力事件的自监督学习

    利用可穿戴生物信号数据开发了一种多模式个性化应激预测系统，使用自监督学习模型进行预训练，并在少量注释数据下优于非自监督学习模型。该模型具有个性化的预测能力，可应用于使用复杂多模态数据流进行各种周期性健康事件的个性化预测。

    Jul, 2023

  • 探索基于自监督多视角对比学习在有限标注下的语音情感识别

    提出了一种多视角的自监督学习预训练技术，用于改善情感识别在数据标注有限的情况下的性能，实验证明该框架能够提高业绩。

    Jun, 2024

  • 利用自监督学习识别穿戴设备记录的超级马里奥游戏、大学考试或体育锻炼的受试者的情绪急性发作

    通过个人感应、利用从患者的生态环境中持续收集的可穿戴设备数据被动地监测情绪障碍（MDs），这是一种有希望成为监测全球疾病负担主要决定因素的前景。本文通过自监督学习（SSL）利用无标签数据在预训练过程中学习表达，然后用于监督任务，克服了数据瓶颈，推进了从可穿戴设备数据中检测 MDs 急性发作与稳定状态的方法。

    Nov, 2023

  • 基于 Transformer 的自监督学习在情感识别中的应用

    本文提出使用基于 Transformer 的模型处理心电图以进行情感识别，利用 Transformer 的注意机制为信号构建上下文化表示，并通过全连接网络对这些表示进行处理，以预测情感，同时利用自监督学习来克服情感标签数据集相对较小的限制，实现了对 AMIGOS 数据集上心电图情感识别的最新性能，并且表明了 Transformer 和预训练是应用于生理信号情感识别的有前途的策略。

    Apr, 2022

  • 基于音频的情绪识别的自监督学习

    情感识别通过音频输入数据的模型可以实现在心理健康、营销、游戏和社交媒体分析等领域的交互式系统的发展。

    Jul, 2023

  • 使用预训练转换器进行文本、语音和视频的多模态情绪识别

    通过使用多模态感情识别方法和各种融合技术，本研究在 IEMOCAP 多模态数据集上实现了 75.42% 的准确率，主要关注多模态感情识别、自监督学习、迁移学习和 Transformer 模型。

    Feb, 2024

  • 压力移动传感的个性化使用自我监督学习

    使用穿戴设备收集的生物信号数据进行压力预测，通过个性化的自监督学习方法，基于神经网络模型实现了较少标注数据即可达到等效结果，从而辅助移动感知技术在诸如压力等复杂、异质和主观主题上精准度健康评估系统。

    Aug, 2023

  • MMA-DFER: 适应多模态单模型的野外动态面部表情识别

    探讨使用自我监督学习方法进行多模态动态面部表情识别的研究，并提出了解决该任务中的主要挑战以及相应解决方案，最终在 DFEW 和 MFAW 两个常用的动态面部表情识别基准数据集上实现了超过当前最先进方法的改进。

    Apr, 2024

  • 基于多尺度 Transformer 网络的多生理信号情感识别

    本文提出了一种高效的基于多尺度 Transformer 的方法，用于从生理数据中识别情感，并且利用多模态技术和缩放数据建立内部身体信号与人类情感之间的关系。同时使用高斯变换技术优化信号编码效果，并在 EPiC 比赛的 CASE 数据集上取得了 RMSE 得分 1.45 的好成绩。

    May, 2023

  • TS-MoCo: 基于 Momentum Contrast 的时序动量对自监督生理学表示学习

    本文提出了一种新的编码框架，它依赖于自监督学习来学习各种生理领域的多元时间序列的表示，从而解决有限可用性的标记生理数据通常防止在生物医学机器智能领域使用强大的监督深度学习模型的问题，并得出新方法可以学会区分特征被用于下游分类任务。

    Jun, 2023