使用卷积自编码器实现无监督多模态语言表征

Oct, 2021

使用卷积自编码器实现无监督多模态语言表征

Unsupervised Multimodal Language Representations using Convolutional Autoencoders

Panagiotis Koromilas, Theodoros Giannakopoulos

TL;DR提出了一种无监督多模态语言表示提取方法，利用卷积自编码器将单词级对齐的多模态序列映射到 2-D 矩阵中，证明其在情感分析和情绪识别领域可以达到接近最先进性能的结果。

Abstract

multimodal language analysis is a demanding area of research, since it is associated with two requirements: combining different modalities and capturing temporal information. During the last years, several works have been proposed in the area, mostly centered around supervised learning

multimodal language analysis unsupervised learning convolutional autoencoders sentiment analysis emotion recognition

发现论文，激发创造

自我监督多任务学习的多模态情感分析中学习特定于感知模式的表示

本文设计了一个基于自监督学习策略的标签生成模块，通过联合训练多模态和单模态任务来分别学习一致性和差异，采用权重调整策略来平衡不同子任务的学习进度，验证了自动生成的单模态监督标签的可靠性和稳定性，超过了现有的最先进方法和人工注释的单模态标签。

Feb, 2021

基于卷积自编码器的多模态一类分类

本文提出了一种适用于多模态数据的深度学习一类分类方法，通过联合训练两个卷积自编码器，使其在重构正样本输入数据的同时，在潜在空间中获得尽可能紧凑的数据表示。在推理过程中，可以使用输入的潜在表示与原点的距离作为异常分数。实验结果表明，与单模态方法相比，所提出的多模态方法在多模态昆虫图像分类数据集上获得了更好的结果。此外，本文还研究了不同输入图像尺寸的影响，并探讨了最近提出的特征多样性正则化对我们方法性能的影响。结果表明，这样的正则化手段能够提高性能。

Sep, 2023

多模态掩模自编码器学习可转移表示

本论文提出一种基于 Masked Token 预测的大型多模式模型 (M3AE)，能在不引入偏好于数据增强的对比学习目标的情况下，学习出适用于下游任务的可传递表示，并证明了高文本遮盖率下训练能够显著提升模型性能。M3AE 能够在配对和非配对的图像 - 文本数据上训练，具有可扩展性和灵活性。

May, 2022

多模态情感分析中的单模编码和跨模态预测的多模态对比学习

本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

Oct, 2022

无监督图注意力自编码器用于带属性网络的 K 均值丢失

利用最新的转换器和特征提取工具构建阿拉伯语多模态数据集，验证其在多模态学习中的效果，并展示阿拉伯语多模态研究的潜力。

Nov, 2023

基于多视角对比学习提升情感分析中形式表征

本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。

Oct, 2022

语言理解通用多模态表示

本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

Jan, 2023

多任务多模态自监督学习的面部表情识别

通过多模态多任务自监督学习方法，利用无标签的野外视频数据，实现了面部表情识别的模型，并在多个基准测试中取得了优秀的性能表现。

Apr, 2024

可扩展的弱监督学习的多模态生成模型

本文介绍了一种基于变分自编码器的多模态学习方法，能够有效地用少量参数处理多模态输入数据的推断问题，提出的方法在一些数据集上表现出与最先进技术相匹配的性能。

Feb, 2018

多模态 VAEs 中的统一多样性：改进的表示学习

用于多模态数据的变分自编码器在数据分析中具有许多任务的潜力，如表示学习、条件生成和插补。我们通过用软约束替换这些硬约束，提出了一种新的专家混合先验方法，软指导每个模态的潜编码向共享的聚合后验靠近，从而得到一个更好的潜编码表示，并提高了对缺失数据模态的填充能力。在多个基准数据集和具有挑战性的现实神经科学数据集上进行了广泛实验证明，与现有方法相比，学到的潜编码表示和缺失数据模态的插补有所改进。

Mar, 2024