基于声音定位的词嵌入用于提高声学到词语语音识别

Mar, 2019

基于声音定位的词嵌入用于提高声学到词语语音识别

Acoustically Grounded Word Embeddings for Improved Acoustics-to-Word Speech Recognition

Shane Settle, Kartik Audhkhasi, Karen Livescu, Michael Picheny

TL;DR通过将最终的 AWE 识别器的 pre-softmax 权重矩阵视为词嵌入向量矩阵，并利用外部训练的词嵌入向量来改善其质量，我们提出了两种思路：（1）在训练中在外部嵌入向量与识别器权重之间强制相似性，（2）在测试时使用词嵌入向量预测生僻词以提高直接声学到单词的性能。

Abstract

Direct acoustics-to-word (A2W) systems for end-to-end automatic speech recognition are simpler to train, and more efficient to decode with, than sub-word systems. However, A2W systems can have difficulties at training time when data is limited, and at decoding time when recognizing words outside the training vocabulary. To address these shortcomings, we inve

acoustics-to-word systems end-to-end automatic speech recognition acoustic and acoustically grounded word embedding techniques similarity between external embeddings and the recognizer weights out-of-vocabulary words

发现论文，激发创造

构建英语会话语音识别的具有竞争力的直接声学到单词模型

介绍了一个配方来训练一个 A2W 模型，以缩小与常规模型的差距，并呈现了一个联合单词 - 字符 A2W 模型，以提供富有意义的输出。

Dec, 2017

神经网络方法实现口语内容嵌入

通过使用循环神经网络 (RNNs) 改进了模型训练的效率和性能，我们提出了基于 RNNs 的新的区分性的声学词嵌入 (AWE) 和声学基础词嵌入 (AGWE) 的方法；我们将这些发展扩展到几种低资源语言，并且在有限标记数据的情况下展示了多语言训练的性能提升；我们将这些嵌入模型应用于基于示例的语音搜索和自动语音识别等下游任务；最后，我们展示了我们的嵌入方法与最近的自监督语音模型的比较和补充。

Aug, 2023

语音识别中的学习：上下文音频词嵌入

本文提出一种方法，使用注意力分配从监督序列到序列的语音到单词识别模型中直接构建上下文语音嵌入。在一系列 16 个标准句子评估任务中，我们的嵌入表现与在语音转录中训练的 word2vec 模型相当。此外，我们在口语理解任务上评估这些嵌入并观察到，我们的嵌入匹配基于文本的嵌入在首先进行语音识别，然后从转录中构建单词嵌入的流水线中的性能。

Feb, 2019

利用多语言迁移学习进行无监督语义声学词嵌入

本文研究了声学词嵌入，探索了语义学声学词嵌入，并提出了一种基于多语种转移的语义学声学词嵌入方法，能够显著提高词汇相似性任务的表现，并且能够用于语义检索。

Jul, 2023

分析声学单词嵌入的表征几何

本研究对英语发音学习到的声学单词嵌入进行了分析，发现学习目标对模型架构的表示特征具有显著的影响。

Jan, 2023

有监督的声学嵌入及其在不同语言之间的可转移性

本文研究了使用自监督预训练技术来提高语音识别的准确性，发现在监督学习框架中，利用不同的预训练自监督特征作为 Acoustic Word Embeddings 的输入是最有效的方法，并且这种方法可实现跨语言迁移。

Jan, 2023

基于声音的词嵌入学习方法：Sound-Word2Vec

该论文提出了一个新的嵌入方案 (sound-word2vec)，用于学习基于声音的专业词嵌入。这些嵌入的使用在文本检索和电影制作等任务中表现出了很好的效果，并提出来了许多新的声学和拟声词上的依赖关系。

Mar, 2017

整合形式和含义：一种用于声学词嵌入的多任务学习模型

本文提出一种结合自顶向下词汇知识的多任务学习模型，通过学习将声学输入与编码高级别信息（例如单词语义）的词汇表示相映射，从而提高了嵌入空间的可区分性，并使模型更好地分离了词汇类别。

Sep, 2022

基于自编码器的声学词嵌入分析

本文研究了六种语言中通过序列编码 - 解码模型学习到的声学词嵌入的基本属性，展示了其表示空间中包含单词的绝对时长和说话者信息，且在这些 AWE 的表示空间内，单词的嵌入距离会随着它们的语音差异而增加，且表现出词语起始偏置，证明了 AWE 作为认知科学中一个有潜力的工具，在连接语音处理和词汇记忆方面具有良好的前景。

Apr, 2020

零资源语言的多语种音频词向量

该研究针对缺乏已标注数据的零资源语言开发语音应用的挑战，特别使用声学词嵌入（AWE），通过多语言转移利用来自几种资源丰富的语言的已标注数据。该研究介绍了一种新的神经网络，优于现有的 AWE 模型在零资源语言上的表现，研究还探讨了资源丰富语言的选择对结果的影响。AWE 应用于斯瓦希里语广播中的仇恨言论检测的关键词识别系统，展示了在实际场景中的稳健性。此外，新颖的语义 AWE 模型提高了语义查询示例搜索的性能。

Jan, 2024