Mar, 2018

LCANet: 级联注意力 - CTC 的端到端唇语识别

PDF
TL;DR本文提出了一种基于端到端深度神经网络的 LCANet 口型识别系统，利用 3D CNN、highway network 和双向 GRU network 来捕捉短期和长期的空时信息，并采用连续的注意力 - CTC 解码器来生成输出文字，实验结果表明，与现有的最先进方法相比，所提出的系统在 GRID 语料库上取得了 1.3% 的 CER 和 3.0% 的 WER，有 12.3% 的改进。
machine lipreadingdeep neural networklcanetspatio-temporal informationautomatic speech recognition
发现论文，激发创造
  • LipNet：端对端的句子级唇读

    LipNet 是一个全新的、端到端的实时语音转文字模型，它能够将连续的视频帧序列准确地映射成文本，并能够同时学习时空视觉特征和序列模型，它在句子级别的听力阅读任务上表现出色，实现了 95.2％的精度，优于先前研究的单词级准确度。

    Nov, 2016

  • 基于联合 CTC-Attention 的端到端语音识别的进展，带有深度 CNN 编码器和 RNN-LM

    本研究提出了一个最先进的端到端自动语音识别模型，通过使用联合 CTC 和基于注意力机制的编码解码器网络来学习听和写字，其中编码器是基于 VGG 网络的深度 CNN，CTC 网络和注意力解码器共同训练，通过在波束搜索过程中，将 CTC 预测、注意力解码器预测和单独训练的 LSTM 语言模型相结合，相较于先前的系统，在自发性日语和中文语音上减少了 5-10% 的误差，并且我们的端到端模型击败了传统的混合式 ASR 系统。

    Jun, 2017

  • 深度音视频语音识别

    本论文旨在识别带有或不带有音频的说话者嘴唇所述的短语和句子，我们提出了使用自注意力机制的 CTC 和序列到序列两种模型进行唇语识别，并研究唇语识别在有噪音的情况下与音频识别的互补性，同时我们介绍并公开发布了英国电视上成千上万自然语言的新数据集 LRS2-BBC，我们建立的模型在实验中的表现均超过了以前的相关工作。

    Sep, 2018

  • 使用长短时记忆网络进行唇读

    本文介绍了利用神经网络从仅有的视觉信息（面部）中识别言语并实现唇读的方法，通过使用前馈和循环神经网络层（即 LSTM）堆叠成单一结构，并对其进行训练，成功地实现了比传统方法更高的识别准确性。

    Jan, 2016

  • 使用紧密连接的时间卷积网络进行唇语识别

    本研究提出了一种名为 DC-TCN 的方法，使用密集连接的时间卷积网络和轻量级的 Squeeze-and-Excitation 注意力机制来进行单词的唇语识别，取得了 88.36％和 43.65％的识别准确率，超越了其他基准方法，成为两个数据集的新的最先进技术。

    Sep, 2020

  • 深度唇语识别：模型比较和在线应用

    本文旨在发展最先进的口型阅读模型，分别使用 LSTM 递归模型、全卷积模型和最近提出的 Transformer 模型，并通过 BBC-Oxford Lip Reading Sentences 2 (LRS2) 基准数据集的实验表明了本研究的最佳成果。

    Jun, 2018

  • 将 Residual Networks 与 LSTMs 组合用于唇语识别

    本文提出了一种端到端的深度学习架构用于字级视觉语音识别，该方法结合了时空卷积、残量和双向长短时记忆网络，该网络在 Lipreading In-The-Wild 基准上获得了 83.0 的字级准确率，相较于当前的最先进方法有 6.8 的绝对提升，且在训练和测试过程中均未使用有关单词边界的信息。

    Mar, 2017

  • 多任务学习下的联合 CTC-Attention 基于端到端语音识别

    本研究介绍了一种新的方法，使用多任务学习框架中的联合 CTC-attention 模型来改善端到端语音识别的鲁棒性并实现快速收敛，从而减轻对齐问题。实验证明，与 CTC 和 attention-based encoder-decoder 基线相比，在 WSJ 和 CHiME-4 任务中表现出 5.4-14.6％的相对 CER 改进。

    Sep, 2016

  • 使用时间卷积网络进行唇读

    本研究旨在改进当前用于野外孤立词识别的最先进模型，首先通过引入 TCN 替代 BGRU 层，简化训练过程，其次，提出变长度数据增强技术，最终在两个最大的公开数据集上展示了 1.2% 和 3.2% 的性能增益，这是最新的最先进性能。

    Jan, 2020

  • 用于自动语音识别的残差卷积 CTC 网络

    本文提出了一种新颖的深度卷积神经网络架构 RCNN-CTC，其通过残差连接和时间分类损失函数，能够同时利用语音信号的时间和光谱结构，并提出了一种 CTC-based 系统组合方法，可以显著减少 WSJ 和腾讯 Chat 数据集上的语音识别误差率。

    Feb, 2017