Mar, 2022

CUSIDE：基于分块、模拟未来上下文和解码的流式 ASR

PDF
TL;DR本文提出了一种新的框架（Chunking、模拟未来内容和解码，CUSIDE）用于流式语音识别，引入了模拟模块来递归模拟未来上下文帧，通过自监督损失与 ASR 模型联合训练，证明在维持识别准确度的同时大幅降低延迟，并在 AISHELL-1 数据集上取得了新的最佳的流式 ASR 结果。
acoustic modelingstreaming speech recognitioncontextual informationself-supervised learninglatency reduction
发现论文，激发创造
  • 使用 EMFORMER 的 CTC 流式自动语音识别的动态延迟

    本文提出一种帧级模型，采用高效增强记忆变压器块和动态延迟训练方法来提高流媒体自动语音识别的性能和降低计算复杂性，通过缓存机制并重复使用结合增强记忆库作为有限历史上下文的补充，以达到更好的性能。实验表明，该模型在 LibriSpeech 数据集上具有较高的性能。

    Mar, 2022

  • 基于 Transformer 的流式端到端自动语音识别中的平移块编码器

    提出一种基于移位块机制的 SChunk-Transformer 和 SChunk-Conformer 模型，可以较好地解决全局上下文建模和训练效率问题，在 AISHELL-1 测试集上分别取得 6.43% 和 5.77% 的 CER 准确率，与传统的块式模型相比性能更佳。

    Mar, 2022

  • 双模 ASR: 统一与改进全上下文流式 ASR 模型

    该研究提出了一种统一框架的双模 ASR（自动语音识别），通过权重共享和全场景 ASR 的联合训练，特别是在训练期间进行知识蒸馏，使流式 ASR 的延迟和准确性得到明显改善。该框架适用于最新的卷积和变压器 ASR 网络，并在 LibriSpeech 和 MultiDomain 数据集上进行了广泛实验和削减研究，取得了新的流式 ASR 结果。

    Oct, 2020

  • DCTX-Conformer: 用于低延迟统一流和非流 Conformer 的动态上下文传递

    通过动态上下文传递机制，提高端到端模型在自动语音识别领域的性能。

    Jun, 2023

  • 深度上下文化声学表示用于半监督语音识别

    我们提出了一种新的半监督自动语音识别方法，利用表示学习从无标注音频数据中重建滤波器组特征，并使用得到的深度上下文化的声学表示训练基于 CTC 的端到端自动语音识别系统，实验表明我们的方法能够显著提高系统性能并大幅减少所需标注数据量。

    Dec, 2019

  • 利用声学情景表征通过音频文本跨模态学习用于会话 ASR

    该研究提出了一种音频 - 文本交叉模态表示提取器，通过 attention 机制，将上下文文本表示作为上下文提供给 ASR 解码器，有效地提高了智能语音识别的性能。

    Jul, 2022

  • 利用跨句语境进行 ASR 解码

    研究通过束搜索集成具有长期上下文的变压器语言模型进行跨话语语音模型的解码，并与 n-best 重排序的结果进行比较。结果表明，束搜索允许更好地利用跨话语语境。

    Jun, 2023

  • 针对 Conformer 转录器语音识别系统的有效紧凑上下文表示

    本文提出了一种能够学习到跨话语上下文特征的紧凑的低维度的特征表示方法，并通过在先前话语的历史向量上应用特殊设计的注意力池化层，来优化了基于 Conformer-Transducer 编码器的 ASR 系统，在 1000 小时的 Gigaspeech 语音语料上进行了实验，结果表明相对于仅使用话语内部语境的基线模型，该系统达到了 0.7% 至 0.5% 的绝对词错误率的统计显着降低（相对降低了 4.3% 至 3.1%） 的效果。

    Jun, 2023

  • 统一流式和非流式传输器中的上下文偏置的两阶段上下文单词过滤

    本文提出了一种高效的方法来获取高质量的语境词列表，并将其作为上下文信息融合到非流式编码器和解码器中，以生成最终的识别结果，实验证明与基线系统相比，相对字符错误率降低了 20% 以上。

    Jan, 2023

  • CItruS: 分块指令感知的长序列建模状态驱逐

    通过引入一种新的建模技术 CItruS，在隐藏状态的清理过程中集成下游任务中有用的注意力偏好，以解决信息忽略的问题，同时设计了一种分块序列处理方法来提高效率，该方法在相同的内存预算下在长序列理解和检索任务上表现出优越性能。

    Jun, 2024