ACLJun, 2023

多模态情感分析中的对比知识注入

PDF
TL;DR本研究提出了一种基于适配器架构、对每个模态进行特定知识注入的分层对比学习（ConKI）方法，以实现多模态情感分析，并在三个流行的多模态情感分析基准测试中表现优异。
multimodal sentiment analysiscontrastive knowledge injectiondomain-specific knowledgeadapter architecturehierarchical contrastive learning
发现论文，激发创造
  • 跨模态知识蒸馏增强的多模态表征学习

    本文介绍了一种基于多模态表示学习的学生 - 教师框架，并采用了对比学习和对抗学习等方法来优化相互信息和条件熵，以提高视频识别、检索和情感分类等多模态任务的性能。

    Jun, 2023

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 提升多模态情感分析：基于受监督的角度边界对比学习的增强融合表征

    通过引入一种名为监督角度对比学习的框架，以增强多模态表示的区分性和泛化性，克服了融合向量中的模态偏差，实验结果和对两个广泛使用数据集的可视化结果表明了我们的方法的有效性。

    Dec, 2023

  • 多模态情感分析中的遗漏模态：一种知识迁移方法

    提出了一种新颖的知识传递网络来在不同的感知模式之间进行翻译以重构缺失的音频模式，并且采用了跨模态注意机制以保留重构和观察到的模态的最大信息，用于情感预测。通过对三个公开数据集进行大量实验证明，相较于基线方法实现了显著的改进，并在完全多模态监督方面取得了与之前方法相当的结果。

    Dec, 2023

  • 基于相关性解耦的多模态不完整情感分析知识蒸馏

    我们提出了一个面对不确定缺失模态的多模态情感分析任务的相关解耦知识蒸馏（CorrKD）框架，通过样本级对比蒸馏机制和类别引导的原型蒸馏机制，重构缺失的语义，捕捉交叉类别相关性，并通过响应解耦和互信息最大化优化学生网络的情感决策边界，实验表明我们的框架在三个数据集上相比几个基准模型取得了明显的改进。

    Apr, 2024

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 基于门控机制的多模态情感分析

    本文讨论了多模态情感分析的三个方面：跨模态交互学习、多模态交互中的长期依赖性学习和一元和跨模态线索的融合，发现学习跨模态交互对解决该问题很有益。在两个基准数据集（CMU-MOSI 和 CMU-MOSEI 语料库）上进行实验，取得了 83.9％和 81.1％的准确率，分别比当前最先进技术提高了 1.6％和 1.34％的绝对精度。

    Feb, 2020

  • KDMCSE: 知识蒸馏多模态句子嵌入与自适应角度边界对比学习

    本研究提出了 KDMCSE，一种基于知识蒸馏的多模态对比学习方法，通过利用教师模型的知识来增强多模态表示的区分性和泛化能力，有效地检测和消除有噪声和错误的负样本，同时引入了 AdapACSE，一种新的自适应角度间隔有监督对比学习方法，增强了在角度空间中的边界，捕捉了负样本中不同的语义变化。在广泛使用的语义文本相似性基准测试中，实验证明了我们方法的有效性。

    Mar, 2024

  • CLMLF：用于多模态情感检测的对比学习和多层融合方法

    该论文提出了一种用于多模态情感检测的对比学习和多层融合（CLMLF）方法，通过对文本和图像进行隐藏表征编码，设计了两个对比学习任务，标签对比学习和数据对比学习，有助于模型学习多模态数据中与情感相关的共同特征。在公开数据集上进行的大量实验证明了该方法与现有方法相比，在多模态情感检测方面具有很好的效果。

    Apr, 2022

  • 跨语言结构化情感分析的知识增强对抗模型

    本文提出了一个基于知识增强的对抗模型（KEAM），采用对抗性的嵌入适配器来提高跨语言传输效果，并采用句法 GCN 编码器以传输显式的语义，并在五个数据集上进行实验，结果显示 KEAM 模型在多个指标上优于传统的无监督方法。

    May, 2022