Mar, 2023

使用 BriVL 生成音频形象 GAN 表示

PDF
TL;DR本文提出了一种基于 BriVL 的音频表述学习方法 WavBriVL，该方法将音频、图像和文本投影到共享的嵌入式空间中，实现多模态应用，并通过定性评估展示了 WavBriVL 所生成图像的相关性。该方法可有效地从音频中生成适当的图像，探索了一种新的图像生成方式。
self-supervised pre-trainingmultimodal/large modelsaudio representation learningbridging-vision-and-languageimage generation
发现论文，激发创造
  • UniBriVL：音频驱动扩散模型的稳健通用表示和生成

    我们提出了一种名为 UniBriVL 的新型通用语言表征学习方法，该方法基于图像和语言的桥接，将音频、图像和文本嵌入到共享空间中，实现各种多模态应用。该方法解决了语言（文本和音频）表征学习中的主要挑战，并有效捕捉了音频和图像之间的相关性，同时通过定性评估展示了从音频生成的图像的潜力。UniBriVL 在下游任务中的实验结果表明了其有效性以及从音频中选择适当图像的能力，该方法具有语音识别、音乐信号处理和字幕系统等各种应用潜力。

    Jul, 2023

  • WenLan：大规模多模态预训练桥接视觉和语言

    本文介绍了作者团队领导的 “文兰” 项目的主要研究方向，即通过两个塔的 BriVL 预训练模型和跨模态对比学习框架的先进算法，隐式地建模跨模态关联，从而更成功地实现大规模多模态预训练。同时，他们还建立了一个大规模的中文多源图像文本语料库，称为 RUC-CAS-WenLan，用于 BriVL 模型的预训练。实验结果表明，预训练的 BriVL 模型在各种下游任务中的性能优于 UNITER 和 OpenAI CLIP。

    Mar, 2021

  • 多模学习脑视语特征解码视觉神经表示

    本文提出了一种名为 BraVL 的神经解码通用方法，采用三模态深度生成模型对脑部、视觉和语义特征之间的关系进行建模，以提高对新颖视觉类别的准确性，进而发现通过视觉和语义特征的组合进行解码比单独使用这两者更卓越，进而表明视觉感知可能伴随语言影响以表示视觉刺激的语义。

    Oct, 2022

  • 基于视觉语音的大规模表征学习

    这篇论文描述了一种可扩展的方法来自动生成不同的音频来为图像提供字幕，并且通过使用双编码器来对音频和图像进行编码，使用掩码边界软最大损失对这些模型进行微调，并在 Flickr8k 音频字幕语料库上实现了最新的结果。

    Sep, 2019

  • 情感回归和分类任务中处理单一和多模态的多功能视听学习

    提出了用于处理单模式和多模式情感情况的多功能音视频学习框架，通过音视频共享层，残差连接和单模态重构任务实现有效的表示学习，在情感属性预测任务上达到了新的最先进性能。

    May, 2023

  • 使用声学图像的音视频模型蒸馏

    本研究旨在研究如何从视觉数据和新型的音频数据模式 —— 声学图像中学习丰富和强大的音频分类特征表示，通过利用新的多模态标记行动识别数据集，并针对性地训练音频深度学习模型，从视觉和声学图像方面实现知识蒸馏，以获得比单麦克风声音数据训练模型更强大和更具有一般化能力的特征表示。

    Apr, 2019

  • BRAVEn: 提升自我监督的视觉和听觉语音识别预训练

    我们提出了 BRAVEn，这是对最近的 RAVEn 方法的扩展，完全从原始的音频 - 视觉数据中学习语音表示。我们的修改使得 BRAVEn 在各种环境中成为自我监督方法中的领先者，并且我们通过增加大量未标记数据观察到有利的扩展行为。我们的结果表明，现成的未标记音频 - 视觉数据可以在很大程度上代替昂贵的转录数据。

    Apr, 2024

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021

  • 自监督多模态通用网络

    本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

    Jun, 2020

  • LiRA: 通过自监督学习从音频中学习视觉语音表示

    该研究提出了利用声音训练人脸运动的模型以提高口语阅读的准确度。

    Jun, 2021