Dec, 2017

CTC 声学模型的子词和交叉词单元

PDF
TL;DR本文提出了一种新方法来为 CTC 基于语音识别系统创建单元集。该方法使用 Byte Pair Encoding 在给定的训练文本上学习任意大小的单元集，通过使用子词和多词跨度单元，与使用字符或单词作为单位相比，可以在单位集大小和可用训练数据之间寻找良好的平衡点。通过结合使用独立语言模型的译码方法，能够实现基于字形的 CTC 系统的最新成果。
ctc-based speech recognitionbyte pair encodingsubword unitscrossword unitslanguage model
发现论文，激发创造
  • 推进声学到单词 CTC 模型

    本论文研究了基于 CTC 准则的声音到单词模型的问题，并提出采用混合 CTC 模型和混合单元 CTC 模型的解决方案，最终实现了在没有使用语言模型或复杂解码器的情况下取得比传统 CD-CTC 模型更好的结果。

    Mar, 2018

  • 神经语音识别：基于声学到词汇 LSTM 模型的大词汇量语音识别

    使用 CTC 损失和双向 LSTM RNN 网络，基于整词的声学单位构建连续语音识别系统，无需传统上下文依赖的子词单元和语言模型。

    Oct, 2016

  • 基于 CTC 的声学模型的多语言训练和跨语言适应

    研究了多种适应和规则化技术，并使用深度神经网络，调查了自适应性训练的潜力， 并研究了退火珂朵莉的效果，得出结果表明使用 LHUC 进行适应可以改善全语言子母的 CTC 系统的性能，并且在有限数据上可以实现与 DNN/HMM 系统的竞争性性能。

    Nov, 2017

  • 层级条件端到端 ASR：CTC 和多粒度次词单元

    本文提出了一种基于连接主义时间分类（CTC）的分层条件模型，通过在中间层应用辅助 CTC 损失，逐渐增加每个目标子单词序列的词汇量，并使每个级别的序列预测明确地以前一个级别的预测为条件，希望通过利用语言结构的层次结构有效地学习单词级表示，在 LibriSpeech-{100h，960h} 和 TEDLIUM2 上实验结果表明，与标准 CTC 模型和其他竞争模型相比，所提出的模型具有优越性能。

    Oct, 2021

  • 针对语音识别的端到端注意力模型的改进训练

    研究了基于子词单元的序列到序列的注意力机制模型在简单开放式语料库上进行的端到端语音识别中的应用，通过预置一个高时间缩小系数并在训练过程中逐步降低，以及使用辅助 CTC 损失函数等方法，证明了它的有效性和高性能。同时，还对基于子词单元的 LSTM 语言模型进行了训练，在无语言模型情况下，在给定的评估数据子集上相较于注意力基线的 WER 提高了 27%。

    May, 2018

  • 使用声学单元的直接文本转语音翻译系统

    本研究提出了一种使用离散声学单元的直接文本到语音翻译系统，该系统能够将不同源语言的文本作为输入，生成目标语言的语音，无需该语言的文本转录。通过使用语音编码器与聚类算法相结合来提取声学单元，利用先前工作中在直接语音到语音翻译系统中成功运用的声学单元，构建了该框架。通过训练编码器 - 解码器架构来预测声学单元，然后使用声码器从单元生成语音。我们在新的 CVSS 语料库上测试了直接文本到语音翻译的方法，使用了两个不同的初始模型（mBART）。所提出的系统在大多数评估的语言对上表现出竞争性能。此外，结果显示，使用预先训练了更多语言的模型初始化我们提出的架构，能够取得显著的改进。

    Sep, 2023

  • 采用子单元的神经机器翻译生僻词

    本文提出了一种基于子单词单位的、更简单且更有效的方法来处理翻译中的开放性词汇问题，并通过实验证明了这种方法相较于备用字典模式可以提升该模型的翻译效果。

    Aug, 2015

  • Gram-CTC：序列标注的自动单元选择与目标分解

    本文介绍一种基于 CTC loss criterion 的新的损失函数 Gram-CTC，它在语音识别等任务上取得了比 CTC 更好的性能和效率，并能捕获更长期的依赖关系。

    Mar, 2017

  • 神经机器翻译的分割粒度优化

    本文提出一种自动调节神经机器翻译中分词粒度的方法，可以在训练的同时引入新的词汇并优化语言分割，最终达到与最优表现相似的结果，并在训练效率和罕见词汇的表现方面带来了改进。

    Oct, 2018

  • 基于 Transformer 的中文序列到序列语音识别中建模单元的比较

    本论文探讨了在 Mandarin Chinese ASR 任务中使用不同建模单元（包括 CI-phonemes、音节、单词、子词和字符）在基于序列到序列关注机制的 Transformer 模型中的表现比较，结果表明基于字符的模型 CER 最好，其对于没有手动设计的词典和额外语言模型的 HKUST 数据集的最新 CER 为 26.64％，相对于现有最佳 CER 28.0％的 CTC-attention-based encoder-decoder 网络，有 4.8％的相对改进。

    May, 2018