Oct, 2022

使用模态专用的大规模预训练编码器进行多模态情感分析

PDF
TL;DR本文研究了多模态情感分析中使用具有模态感受的大规模预训练编码器的有效性和实现。通过实验比较了在视觉、声学和语言感受模态下最大的预训练编码器和传统的启发式特征后，得出领域专用预训练编码器比常规特征在单模态和多模态情况下性能更好的结论。
multimodal sentiment analysispre-trained encodersvisual modalityacoustic modalitylinguistic modality
发现论文，激发创造
  • 无监督图注意力自编码器用于带属性网络的 K 均值丢失

    利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

    Nov, 2023

  • 多模态方面情感分析的视觉语言预训练

    本文提出了一种面向多模态方面的情感分析的 Vision-Language 预训练框架（VLPMABSA），使用更加统一的多模态编码器 - 解码器体系结构来应对上一个视觉和文本模型分开预训练、或是总体预训练任务不够细致的问题，同时还设计了三种特定于该任务的语言、视觉和多模态预训练任务，并通过实验证明了本文方法在三个 MABSA 子任务上优于当前最先进方法的效果，且有助于情感、方面和跨模态的细粒度对齐。

    Apr, 2022

  • 从共享对比语言图像预训练中学习视觉表征

    本篇研究探讨使用 transformer 模型进行多模态对比预训练的方法，发现优于原始的 CLIP 方法，并且支持参数量的降低，通过共享参数，实现了不同模态之间的信息交互和相近语义结构的转移。

    Jul, 2022

  • UniMSE: 统一多模态情感分析与情感识别

    本文提出一种多模态情感知识共享框架（UniMSE），用于统一多模态情感分析（MSA）和对话中情绪识别（ERC）任务以 better capture the difference and consistency between sentiments and emotions by performing modality fusion at the syntactic and semantic levels and introducing contrastive learning between modalities and samples. 通过在四个公共测试数据集上的实验，展示了该方法的有效性并与最先进的方法进行了一致的改进。

    Nov, 2022

  • 对比交叉模态模型的语言编码器

    对比交叉模态模型如 CLIP 和 CLAP 对视觉 - 语言（VL）和音频 - 语言（AL）任务有所帮助，本篇研究评估了无监督和监督的句子嵌入训练对语言编码器质量和交叉模态任务性能的影响，发现句子嵌入训练有助于提高对比 VL 模型的性能，但在 AL 预训练中效果较少，可能是由于预训练数据量有限所致。通过对表示空间的分析，句子嵌入训练改善了文本空间的均匀性，但降低了交叉模态对齐性。

    Oct, 2023

  • 利用单模编码器进行视觉语言任务的多模适应蒸馏

    提出了一种名为 MAD 的方法，可以使用预训练的单模态视觉和文本编码器对跨模态 VL 编码器进行自适应蒸馏，从而提高了跨模态学习的性能，特别是在 VCR 领域取得了 SOTA 表现。

    Apr, 2022

  • 利用转化后的单语词向量的深度学习范式，进行多语言情感分析

    本文研究利用深度学习方法，通过预训练单语词嵌入，将不同语种的词嵌入映射到共享嵌入空间中，从而进行多语情感分析。实验结果表明，我们的方法优于现有方法，其中 CNN 模型的分类准确率较目前最先进的基线高 2.1％。

    Oct, 2017

  • 多模态语义理解与对比跨模态特征对齐

    本篇研究提出了一种基于 CLIP 引导的对比学习的架构，用于执行多模态特征对齐，将来自不同模态的特征投影到一个统一的深度空间，实验结果表明，我们提出的模型在多模态讽刺检测和多模态情感分析任务中明显优于多个基准模型，我们的特征对齐策略相对于其他聚合方法和甚至富含知识的模型也带来了明显的性能增益，此外，我们的模型实现简单，无需使用特定任务的外部知识，因此可以轻松迁移到其他多模态任务。

    Mar, 2024

  • 使用卷积自编码器实现无监督多模态语言表征

    提出了一种无监督多模态语言表示提取方法，利用卷积自编码器将单词级对齐的多模态序列映射到 2-D 矩阵中，证明其在情感分析和情绪识别领域可以达到接近最先进性能的结果。

    Oct, 2021

  • M^2-Encoder: 大规模高效预训练推动双语图像 - 文本理解

    我们介绍了一个包含 60 亿个图像 - 文本配对的双语（中英文）数据集 BM-6B，通过提出一种新颖的分组聚合方法来处理此规模的数据集，大大减少了通信开销和 GPU 内存需求，从而提高了训练速度，我们预训练了一系列双语图像 - 文本基础模型，并在 BM-6B 上取得了提升视觉和文本理解能力的成果，这些模型在多模态检索和分类任务方面树立了新的基准，并且我们的最大模型在零样本分类设置下，在 ImageNet 上的 top-1 准确率分别超过了以前报道的 SoTA 方法 2.2% 和 21.1%。

    Jan, 2024