AAAIFeb, 2021

自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

PDF
TL;DR本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。
representation learningmultimodal learningself-supervised learningunimodal supervisionsweight-adjustment
发现论文，激发创造
  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 医学图像分析的多模态自监督学习

    该论文提出了一种利用多个成像模式的新型自监督方法，设计了一个多模式拼图任务以促进多种图像模式的特征表征，提出了一种利用跨模态生成技术进行多模态数据增强的方法，实验表明该方法能够提高数据效率和语义表征，广泛应用于四种不同的下游任务，并取得了领先的成果。

    Dec, 2019

  • 使用卷积自编码器实现无监督多模态语言表征

    提出了一种无监督多模态语言表示提取方法，利用卷积自编码器将单词级对齐的多模态序列映射到 2-D 矩阵中，证明其在情感分析和情绪识别领域可以达到接近最先进性能的结果。

    Oct, 2021

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 多任务多模态自监督学习的面部表情识别

    通过多模态多任务自监督学习方法，利用无标签的野外视频数据，实现了面部表情识别的模型，并在多个基准测试中取得了优秀的性能表现。

    Apr, 2024

  • 自监督学习方法综述：提高多模态表示学习的有效性

    本文总结了最佳自监督学习方法在多模态学习的应用，包括跨模态生成、跨模态预训练、循环翻译和自监督统一模态标签生成等。

    Oct, 2022

  • 自监督多模态表征学习和基础模型调查

    本文总结了一些具有里程碑意义的研究论文，直接或间接地构建了当今多模态自我监督学习的基础。该文章回顾了过去几年中用于每种模态的表示学习的发展情况，以及它们如何组合成多模态智能体。

    Nov, 2022

  • 多模态情感分析中深度模态对齐和自监督多任务学习的共享和私有信息学习

    本研究提出了一种基于深度学习的多模态情感分析的表示学习方法，使用协方差矩阵来捕捉模态之间的共享信息，同时采用基于自监督学习策略的标签生成模块来捕捉模态的私有信息，并使用多任务学习来帮助模型关注模态差异训练数据。实验结果表明，该方法在多个公共数据集上表现优于现有的同类方法。

    May, 2023

  • 自监督多模态学习：综述

    本综述论文介绍了自监督多模态学习（SSML）的现状和最新进展，对其目标函数、数据对准和模型架构三个方面进行分类，讨论了训练期间的多模态输入数据配对和对准策略，并回顾了用于图像文本和多模态视频的顶尖模型的具体表现及其在医疗保健、遥感和机器翻译等领域的实际应用。

    Mar, 2023

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021