Nov, 2023

Mirasol3B：面向时间对齐和上下文多模态自回归模型

PDF
TL;DR我们提出了一种多模态模型 Mirasol3B，通过自回归机制，将多媒体输入分别处理并建模，同时使用分段和合并机制来处理视频和音频序列的长依赖性，从而实现了在多模态基准测试上的最佳结果。
multimodal learningautoregressive modelsmodalitymirasol3bcombiner
发现论文，激发创造
  • 联合训练大型自回归多模态模型

    近年来，语言和文本到图像模型的大规模预训练的进步已经革新了机器学习领域。然而，将这两种模态集成到一个能够生成无缝多模态输出的强大模型仍然是一个重大挑战。为了解决这个问题，我们提出了联合自回归混合（JAM）框架，这是一种模块化的方法，系统地融合了现有的文本和图像生成模型。我们还引入了一种专门的、高效的数据调优策略，为混合模态生成任务量身定制。我们最终调优的模型在生成高质量多模态输出方面表现出了无与伦比的性能，并且代表了首个明确设计用于此目的的模型。

    Sep, 2023

  • 自监督多模态通用网络

    本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

    Jun, 2020

  • MISAR：一种具备增强现实的多模态指导系统

    创新方法利用大语言模型融合视觉、听觉和语境模态，以提高增强现实系统的状态估计，为更自适应的增强现实系统迈出了一步。

    Oct, 2023

  • 利用单模态自监督学习实现多模态音视频语音识别

    本研究旨在通过使用未经标注的单模态数据和大规模的自监督学习来提高多模态音频 - 视觉语音识别，该方法在实验中表现出良好的效果，取得了相对改善 30% 的优越结果。

    Feb, 2022

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • MIR-GAN：用对抗网络提炼用于音视频语音识别的帧层次模态不变表示

    本文提出了一种基于对抗网络的方法（MIR-GAN），旨在跨模态学习共享的表征，以减轻后续的多模态融合过程，并在公共基准 LRS3 和 LRS2 上得到了比现有技术更好的表现。

    Jun, 2023

  • 重新思考弱监督的音频 - 视觉视频解析中的跨模态融合

    通过引入混合注意力网络、信使引导中融合变换以及跨音频预测一致性等方法，本研究提出了一种新的弱监督音频 - 视觉视频解析框架，以解决多模态融合中的问题并改进单模态事件检测的性能。实验表明，我们的框架相比现有的最先进方法，表现更加优越。

    Nov, 2023

  • 多模态数据自适应融合技术

    本研究提出了两种自适应融合网络（Auto-Fusion、GAN-Fusion），通过对不同模态的特征进行有效的上下文建模，在多模态机器翻译和情感识别等任务中取得了比现有方法更好的效果。

    Nov, 2019

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018