Aug, 2022

CMSBERT-CLR: 基于上下文驱动的多模态移位 BERT 模型，通过对比学习实现语言、视觉和声学表示

PDF
TL;DR该研究提出了一种基于上下文驱动的情感分析方法，利用对比学习提高不同模式的对其精度，从而达到在多模态情感分析领域的最优结果。
multimodal sentiment analysiscontext-driven modality shifting bertcontrastive learningacoustic representationsstate-of-the-art results
发现论文，激发创造
  • 利用声学情景表征通过音频文本跨模态学习用于会话 ASR

    该研究提出了一种音频 - 文本交叉模态表示提取器，通过 attention 机制，将上下文文本表示作为上下文提供给 ASR 解码器，有效地提高了智能语音识别的性能。

    Jul, 2022

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 基于多视角对比学习提升情感分析中形式表征

    本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

    Oct, 2022

  • 连接多模态对比表示

    本文提出了一种用于跨多个模态学习的训练有效方法 C-MCR，无需成对训练数据，通过在重叠的模态 B 上对现有的 MCR 进行连接和对齐，实现了跨模态匹配，进一步引入语义增强技术以提高准确性。将该方法应用于视听对比性学习，不仅无需使用成对数据，还可以在多个数据集上获得最先进的性能表现。

    May, 2023

  • 对比学习句向量的非语言监督

    本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

    Sep, 2022

  • 通过对比增强上下文

    通过最大化巴洛双生损失来提高神经机器翻译性能，从而得到含义丰富的表示，并通过语言分类和与最先进的方法进行对比，评估我们表示的语言无关性。

    Jan, 2024

  • 基于大规模语言模型的可解释的多模态情感分析

    本研究提出了一种新方法，将非语言模态转化为文本描述，并使用大规模语言模型进行情感预测，从而提高情感分析的可解释性。在两个情感分析任务上的实验结果表明，该方法在维持或甚至提高了情感分析的效率的同时，使解释更为直接。

    May, 2023

  • 在大型预训练变换器中集成多模态信息

    本文提出了一种名为 Multimodal Adaptation Gate (MAG) 的附加组件，该组件可以扩展 BERT 和 XLNet 的语言模态以接受面部表情和语音等多模态信息，在情感分析等任务上具有显著的性能优势。

    Aug, 2019

  • 一种基于多模态上下文推理的条件推断方法，适用于联合文本和视觉线索

    提出了一种名为 ModCR 的多模态上下文推理方法，结合文本信息和图像信息进行上下文推理，相较于之前的基于预训练视觉 - 语言模型的方法，ModCR 将给定的文本抽象语义和客观图像信息作为上下文信息，在预训练的语言模型中嵌入它们进行上下文推理，并通过引入可学习的对齐前缀将多视角语义对齐信息与语言和图形结合起来，使得该语言模型更适用于联合文本和视觉线索的多模态推理场景。

    May, 2023

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024