Jan, 2022

基于互信息最大化与最小化和身份嵌入的多模态情感分析的多模态表示学习

PDF
TL;DR本研究提出了一种基于互信息最大化和最小化以及身份嵌入（MMMIE）的多模态表示模型，以更好地应对不同模态之间的异质性差距和上下文动态。实验结果表明，该模型在两个公共数据集上的表现具有有效性。
multimodal sentiment analysismutual information maximization and minimizationidentity embeddingcontextual informationinformation flow
发现论文，激发创造
  • 多模态情感分析中的多层次互信息最大化方法改进多模态融合

    本文提出了一种名为多模态信息最大化的框架，通过提高单模态输入对之间的相互信息和多模态融合结果与单模态输入之间的相互信息，以保留任务相关信息，在下游任务中，与主要任务（MSA）一起进行联合训练，以提高下游任务的性能。实验结果证明了我们方法的有效性。

    Sep, 2021

  • UniMSE: 统一多模态情感分析与情感识别

    本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

    Nov, 2022

  • MISA: 多模态情感分析的模态不变和模态特定表示

    本文提出了一种基于 MISA 框架的多模态情感分析方法，该方法利用学习到的模态表示来帮助实现多模态信号的融合，从而提高任务预测的准确性。在多个情感分析基准数据集和 UR_FUNNY 数据集上，该方法表现出了明显的优越性，验证了其在多模态分析中的实用性。

    May, 2020

  • 通过偏见净化实现多模态情感分析解偏

    通过使用因果关系而非传统的似然方法，基于多模态情感分析（MSA）的多模式对比事实推断情感（MCIS）分析框架能够从具有有害偏见的观察中做出无偏决策，并有效地减轻数据集偏差的问题。

    Mar, 2024

  • 通过最大化本地互信息来进行多模态表征学习

    该研究提出并演示了一种利用图像和文本间局部特征的互信息最大化的表示学习方法，以此训练图像和文本编码器，使其表现出高局部互信息，实验结果显示该方法在图像分类任务中具有优势。

    Mar, 2021

  • 多模式学习系统中的互信息分析

    本文研究了多模态信号处理和分析的应用，通过利用信息计量的概念和 InfoMeter 系统，分析了自动驾驶的大规模数据集中的多模态 3D 物体检测系统，并提出了低模态间信息量对于检测准确性有益的新见解。

    May, 2024

  • 多模态情感分析中深度模态对齐和自监督多任务学习的共享和私有信息学习

    本研究提出了一种基于深度学习的多模态情感分析的表示学习方法，使用协方差矩阵来捕捉模态之间的共享信息，同时采用基于自监督学习策略的标签生成模块来捕捉模态的私有信息，并使用多任务学习来帮助模型关注模态差异训练数据。实验结果表明，该方法在多个公共数据集上表现优于现有的同类方法。

    May, 2023

  • 学习基于语言引导的自适应超模态表示用于多模态情感分析

    通过利用多个信息源（如语言、视频和音频），多模态情感分析（MSA）证明了其有效性，但不同模态间可能存在情感不相关和冲突的信息，从而限制了进一步提高性能。为了缓解这个问题，我们提出了自适应语言引导的多模态 Transformer（ALMT），它通过自适应的超模态学习（AHL）模块，在不同尺度上利用语言特征的指导从视觉和音频特征中学习抑制不相关和冲突的表示。通过获取超模态表示，该模型可以通过多模态融合获得互补和联合表示，以实现有效的 MSA。在实践中，ALMT 在几个知名数据集（如 MOSI，MOSEI 和 CH-SIMS）上实现了最先进的性能，并通过大量割舍实验证明了我们的抑制不相关和冲突的机制的有效性和必要性。

    Oct, 2023

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022