AAAINov, 2019

从模态到模态的翻译：基于对抗表示学习和图融合网络的多模态融合

PDF
TL;DR本文提出了一种新颖的对抗性编码 - 解码 - 分类器框架来学习一个多模态不变的嵌入空间，通过对抗训练将源模态的分布翻译成目标模态的分布并引入重构损失和分类损失来约束嵌入空间，并使用分层图神经网络来融合编码表示。我们在多个数据集上实现了最先进的性能，所学的嵌入空间是有辨别力的。
multimodal fusionembedding spaceadversarial encoder-decoder-classifier frameworkdistribution translationhierarchical graph neural network
发现论文，激发创造
  • 利用内模态和外模态图对比学习进行多模态情感识别的对抗表示

    我们提出了一种新颖的对抗表示方法，采用内模态和跨模态图对比用于多模态情感识别，可显著提高情感识别准确率。

    Dec, 2023

  • 一种基于图形的多模态融合编码器在神经机器翻译中的应用

    本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

    Jul, 2020

  • MIR-GAN：用对抗网络提炼用于音视频语音识别的帧层次模态不变表示

    本文提出了一种基于对抗网络的方法（MIR-GAN），旨在跨模态学习共享的表征，以减轻后续的多模态融合过程，并在公共基准 LRS3 和 LRS2 上得到了比现有技术更好的表现。

    Jun, 2023

  • 深度学习多模态数据融合中对抗样本的脆弱性研究

    探究了目前多模态融合模型是否利用补充信息来防御对抗攻击，通过在 MFNet 上应用 FGSM 和 PGD 等对抗攻击进行实验验证，发现多模态融合模型在对抗攻击方面仍然存在脆弱性。

    May, 2020

  • 使用不对称多层融合学习深层次多模态特征表示

    本文介绍了一种有效的多模态特征融合框架，其中采用了两种创新的融合方案，可在一个共享的单一网络中学习多模态特征，并引入两个非对称融合操作，以增强跨通道的多模态特征交互并增强通道内的空间特征区分能力。实验结果表明，本文提出的框架在语义分割和图像翻译任务中表现优异。

    Aug, 2021

  • CM-GANs: 跨模态生成对抗网络用于共同表示学习

    本研究提出了跨模态生成对抗网络 (Cross-modal GANs) 来建模不同模态数据的联合分布并学习判别式公共表征以弥合异质性差距。实验证明，与其他 10 种方法相比，我们的方法在跨模态检索范式上表现出更好的性能。

    Oct, 2017

  • 一次搞定 —— 用于视频检索的多模态融合 Transformer

    本文提出一种基于多模态、模态无关的融合变压器方法，通过交换多个模态之间的信息并将其整合成一个联合的多模态表示，从而获得聚合多模态时态信息的嵌入，可用于零 - shot 检索和分类。我们在 HowTo100M 数据集上训练模型，并在四个具有挑战性的基准数据集上评估结果，取得了零 - shot 视频检索和零 - shot 视频行动定位的最新成果。

    Dec, 2021

  • 循环翻译不同模态间的数据以学习具鲁棒性的联合表示

    该论文提出了一种基于模态翻译的方法来学习稳健的联合表示，并使用循环一致性损失来保留所有模态的最大信息，从而实现了多模态情感分析方面的最新成果。

    Dec, 2018

  • 用于组合表示学习的多模态生成模型

    该文介绍了一种基于多模态数据边缘似然的分层变分自编码器的族群。文章使用 VAEGAN 及基于流的模型构建了模型。实验结果表明，对于图像、标签和文本数据，这些模型在很多领域中达到了最优结果，并且使用 GAN 图像模型和 VAE 语言模型可以得到更好的表现。最后，在配合口语的任务中，该文章发现用于学习图像表达的表示比只使用视觉数据中学习的等效表示更抽象、更组合。

    Dec, 2019

  • 在单个 GPU 上的数据有效多模态融合

    FuseMix 是一种多模态增强方案，在任意预训练的单模态编码器的潜空间上操作，通过使用 FuseMix 进行多模态对齐，我们以远低于 CLIP 的计算和数据成本，在图像 - 文本和音频 - 文本检索任务中实现具有竞争力的性能。

    Dec, 2023