Jan, 2024

多模态路径：利用其他模态的无关数据改进 Transformer

PDF
TL;DR我们提出了一种名为多模态路径的方法，通过利用其他模态的无关数据来改进特定模态的 transformers，从而实现了显著且一致的性能提升。
transformersmodalitymultimodal pathwaysequence-to-sequence modelingcross-modal re-parameterization
发现论文，激发创造
  • 多模态 Transformer 对缺失模态具有鲁棒性吗？

    本研究旨在深入探究 Transformer 模型在缺失模态数据的情况下的行为，并发现最优融合策略是数据集相关的，因此提出一种自动搜索输入数据最优融合策略以提高 Transformer 模型鲁棒性的方法。实验证实了该方法在三个基准数据集上具有优异性能。

    Apr, 2022

  • 参数高效的多模态变压器用于视频表示学习

    本研究针对音视频表示学习中的多模态转换器，通过分解模态特定和模态共享部分，基于低秩逼近提出了一种新的参数共享方案来降低其参数，并提出一种基于 CNN 嵌入空间的实例相似性负采样方法，可以将模型从头开始训练，并通过预先训练的方式在 Kinetics-700 上演示了我们的方法。

    Dec, 2020

  • 元转换器：多模态学习的统一框架

    通过使用冻结的编码器以及共享的令牌空间，Meta-Transformer 提出了一个框架，可以在 12 种不同的模态间进行统一学习，并处理多种任务，展现了转换器在发展统一多模态智能方面的潜力。

    Jul, 2023

  • 解放任务无关数据潜力的源自由跨模态知识转移

    提出了一种利用配对的非任务相关数据进行增强源无关跨模态知识转移的新颖且简洁的框架，采用任务 - 无关数据引导模态连接模块（TGMB）和任务 - 无关数据引导知识转移模块（TGKT）来实现从源模型到目标模型的知识转移，并结合自监督伪标签方法提升目标模型的学习效果。

    Jan, 2024

  • 多模态信息瓶颈下的非配对式图像语音合成

    本篇研究使用深度生成模型解决一种新的问题，即无配对数据下，跨模气物体生成的问题，该研究提出了一种跨模态生成方法，称为 skip-modal generation。通过学习共享模态下的多模概念瓶颈方法，该法实现了基于图片生成语音的跨模态生成，并在此基础上改进了传统的跨模态生成方法，证明了其在提高数据效率方面的优点。

    Aug, 2019

  • 多模态 Transformer 改进单模态推理

    通过多分支架构和多模态训练，本文提出一种改进单模态模型性能的方法，通过多任务目标，强大的多模态分支将其知识传递给较弱的单模态分支，从而提高了单模态模型的性能。该方法在手势识别、情感识别和情感分析任务上优于传统训练的单模态模型，并观察到优化单模态分支可以改进多模态分支的性能。

    Nov, 2023

  • 多模态不对齐语言序列的多模态转换器

    该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。

    Jun, 2019

  • 多模态模型合并的实证研究

    本论文探讨了如何将不同模态的 transformer 模型融合成参数有效的多模态结构，通过综合实验分析了融合的关键因素，提出了一个有效的训练方法。

    Apr, 2023

  • 潜在翻译：通过连接生成模型跨越模态

    本篇论文提出了一种基于先前训练的深度生成模型，利用潜变量空间进行无监督跨模态域迁移的新方法，并探索了通过学习一个后续接口来提高模块性的可能性。通过定量和定性的实验证明了该方法的有效性，证明了在迁移过程中局部性和语义对齐得到了保留，而且通过这种模块化结构可以大大加快新接口模型的训练速度。

    Feb, 2019

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020