Jun, 2019

多模态不对齐语言序列的多模态转换器

PDF
TL;DR该研究介绍了一种称为 MulT 的多模态转换器，利用方向性一对一跨模态注意力在不显式对齐数据的情况下，通用地解决了模型多模态人类语言时序数据中的两个主要挑战，即内在数据非对准性和跨模态元素之间的长程依赖关系。
multimodal languagetime-series datamodalitytransformercrossmodal attention
发现论文，激发创造
  • MTAG: 模态 - 时间注意力图用于不对齐的人类多模态语言序列

    本文提出了可解释的基于图的神经模型 MTAG，通过构建多模态序列数据的图，设计了 MTAG 融合操作和动态修剪和读取技术。MTAG 仅关注图中重要的交互，可在情感分析和情感识别基准测试中实现最先进的性能，同时使用了显著更少的模型参数。

    Oct, 2020

  • 适应模态的时间序列预测变形器

    通过开发一种名为 Modality-aware Transformer 的新型多模态变压器，我们旨在解决多模态时间序列预测的复杂挑战，并在金融数据集上进行了广泛实验，证明其优于现有方法，提供了一种新颖而实用的解决方案。

    Oct, 2023

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 元转换器：多模态学习的统一框架

    通过使用冻结的编码器以及共享的令牌空间，Meta-Transformer 提出了一个框架，可以在 12 种不同的模态间进行统一学习，并处理多种任务，展现了转换器在发展统一多模态智能方面的潜力。

    Jul, 2023

  • 双重对比损失的多模态摘要生成：Align and Attend

    介绍了一种基于 transformer 的模型：Align and Attend Multimodal Summarization (A2Summ)，可以处理不同模态的输入。作者提出了两种新的对比损失函数来建模不同样本间的相互关系和内部关系。在常用的四个数据集上，A2Summ 的性能均优于之前的方法。此外，作者还公开了一个数据集：BLiSS，包含直播视频和带有注释的摘要。

    Mar, 2023

  • 在大型预训练变换器中集成多模态信息

    本文提出了一种名为 Multimodal Adaptation Gate (MAG) 的附加组件，该组件可以扩展 BERT 和 XLNet 的语言模态以接受面部表情和语音等多模态信息，在情感分析等任务上具有显著的性能优势。

    Aug, 2019

  • DualTime：一个用于时间序列表示的双适配器多模态语言模型

    基于时间序列多模态数据的互补信息挖掘，我们提出了 DualTime，一种双适配器多模态语言模型，同时实现了时间为主导和文本为主导的建模，通过注入轻量级适配符号，实现了嵌入对齐并实现了高效微调。实证研究表明，我们的方法在监督和无监督设置中均优于最先进的模型，突显了不同模态的互补优势。此外，我们进行了少样本标签迁移实验，进一步验证了我们提出的 DualTime 的可迁移性和表达能力。

    Jun, 2024

  • 面向多任务多模态模型的视频生成视角

    通过构建多任务模型、保留高保真度的视频本机时空分词器、以及可解释的词汇术语与视觉观察之间的映射，我们的研究证明了多模态潜在空间设计的可行性，并提出了一种优于行业标准编解码器的视频本机时空分词器，从而在视频合成方面实现了语言模型超越扩散模型的首次突破。进一步地，我们的可扩展视觉令牌表示法在生成、压缩和理解任务中都表现出明显的优势。这项研究的成果为未来在生成非文本数据、实现实时互动体验等方面提供了有趣的潜力。

    May, 2024

  • 如何通过对齐优化多模态数据

    研究多模态数据，重要的因素是了解各个模态之间的关系和相互作用，通过对齐各个模态数据可以提高预测质量、跨模态查询以及解决模型解释性问题。通过分析德国议员如何对待极右派 AfD 成员的演讲，以及在 2020 年美国总统竞选中预测视频广告的气氛，我们对有效分析多模态数据提供了重要见解。

    May, 2024

  • TransModality: 多模态情感分析的端到端 Transformer 融合方法

    通过提出一种基于 Transformer 的新型融合方法 TransModality，本文在多个多模态数据集上验证，得出其在多模态情感分析任务中有着比其他融合方法更好的性能。

    Sep, 2020