利用 GAN 进行零样本学习的视觉语音识别新类别

AAAIJan, 2019

利用 GAN 进行零样本学习的视觉语音识别新类别

Harnessing GANs for Zero-shot Learning of New Classes in Visual Speech Recognition

Yaman Kumar, Dhruva Sahrawat, Shubham Maheshwari, Debanjan Mahata, Amanda Stent...

TL;DR本文介绍了一种使用生成对抗网络 (GANs) 生成新类别的零样本学习方法，用于提高视觉语音识别系统的准确性和处理跨语音的词汇。本研究展示出，该模型是语言无关的，因此可以使用英语训练数据生成新语言 (如印地语) 的视频。我们公开了添加了新类别的视频和代码。

Abstract

visual speech recognition (VSR) is the process of recognizing or interpreting speech by watching the lip movements of the speaker. Recent machine learning based approaches model VSR as a classification problem; however, the scarcity of training data leads to error-prone systems with ve

visual speech recognition zero-shot learning generative adversarial networks language agnostic unseen class samples

发现论文，激发创造

野外多语言视觉语音识别

本文旨在通过视觉手势识别来实现基于嘴唇运动的语音识别，通过优化模型设计和参数，加入额外任务，并增加数据扩充，提高模型性能，实现在不同语言下超越以前的所有基于公开数据集的模型表现，并比训练基于非公开数据集的模型表现更好。

Feb, 2022

使用 GAN 进行视觉数据合成，用于零样本视频分类

本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

Apr, 2018

LiteVSR：通过学习无标签数据的语音表征实现高效的视觉语音识别

该论文提出了一种新颖的资源高效方法，利用任何训练过的自动语音识别（ASR）模型生成的语音表示来进行视觉语音识别（VSR）。通过远离最近文献中流行的资源密集型趋势，我们的方法从已训练的基于 Conformer 的 ASR 模型中提取知识，在标准的 VSR 基准测试中以极少的资源利用实现竞争性的性能。仅使用未标记的音频 - 视觉数据，我们的基准模型在 LRS2 和 LRS3 测试基准上分别达到了 47.4% 和 54.7% 的词错误率（WER）。在有限标记数据的微调之后，词错误率降至 35%（LRS2）和 45.7%（LRS3）。我们的模型可以在几天内在单个消费级 GPU 上进行训练，并能够在老旧硬件上实时进行端到端的 VSR，为实现更易于获取和高效利用资源的 VSR 方法提供了一个路径。

Dec, 2023

利用已知和未知语义关系进行零样本生成学习

提出一种新型的生成模型 LsrGAN，通过引入 SR-Loss 以显式地进行知识迁移，从而利用语义信息将从已知类中获取的知识迁移到未知类中，实现零样本学习和广义零样本学习。

Jul, 2020

SynthVSR: 利用合成监督扩大视觉语音识别的规模

本文研究使用合成口型运动数据提高视觉语音识别系统性能的方法。我们提出了一种基于语音驱动的口型动画模型 SynthVSR，利用大规模合成数据进行半监督学习，在公开数据集上实现了最新的性能。

Mar, 2023

多模态循环一致的广义零样本学习

本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

Aug, 2018

AKVSR: 基于压缩预训练模型的音频知识增强的视觉语音识别

提出了一种基于音频知识的视觉语音识别框架（AKVSR），通过使用音频模态来补充视觉模态中不足的语音信息，利用预训练的大规模音频模型编码丰富的音频知识，并通过量化舍弃非语言信息从而将语言信息保存在紧凑的音频存储器中，并包括能够从紧凑的音频存储器中找到最佳匹配音频特征的音频桥接模块，使得训练过程不需要音频输入，通过广泛的实验验证了该方法的有效性，并在广泛使用的数据集 LRS2 和 LRS3 上取得了最新的最佳表现。

Aug, 2023

SyncVSR: 数据高效的视觉语音识别与端到端跨模态音频令牌同步

Visual Speech Recognition (VSR) aims to interpret spoken content from visual cues, and SyncVSR presents an end-to-end learning framework that synchronizes visual representation with acoustic data, achieving state-of-the-art results while reducing data usage by up to ninefold.

Jun, 2024

StarGAN-ZSVC：低资源环境下的零样本语音转换

本文提出了一个基于生成性对抗网络的语音转换模型，该模型可以在零阶设置下使用未见过的讲话者，并且在实时或更快的速度下运行，与其他语音转换技术相比，该模型在小量数据的零阶设置下表现优异。

May, 2021

用于零样本学习的特征生成网络

该研究提出使用生成对抗网络（GAN）来 “合成” 零样本类别的 CNN（卷积神经网络）特征，从而应对通用零样本学习任务中已有的数据不平衡问题。实验结果表明，该方法在多个数据集上的表现均显著优于现有方法。

Dec, 2017