Oct, 2022

利用发音嵌入的点积进行口语术语识别和相关分数估计

PDF
TL;DR该论文提出了一种利用深度 LSTM 网络在大型口语档案中进行口语检测的新方法，通过对语音识别器生成的音素混淆网络进行处理，并使用另一个深度 LSTM 网络来将搜索术语投影到同一嵌入空间中，计算相关度，并使用 sigmod 函数进行校准来预测发生的概率，最后从输出概率序列中估计搜索术语的位置。
spoken term detectionlstm networksphoneme confusion networkembedding spaceself-supervised
发现论文，激发创造
  • 使用 Wav2Vec 2.0 识别器进行深度 LSTM 口语检测

    本文利用基于字符的 Wav2Vec2.0 模型进行了大规模口语文档中的术语检测任务，实验结果表明，使用基于深度 LSTM 网络的共享发音嵌入空间的 bootstrapping 方法将 DNN-HMM 混合 ASR 的传统发音词汇的知识转化到基于图形的 Wav2Vec 中，能够显著优于 DNN-HMM 混合 ASR 和音素识别器的组合系统。

    Oct, 2022

  • 视觉语音识别的深度单词嵌入

    本文提出了一个基于深度学习的框架，用于提取包含与单词识别相关的嘴部信息的单词嵌入。该模型包括由时空卷积层、残差网络和双向 LSTM 组成；经过训练后，其在视觉语音识别中表现出了超越现有技术的优势。同时，实验证明了该模型即使在未被训练到的目标单词上，也有可行的表现。

    Oct, 2017

  • 使用说话人表示和自监督上下文嵌入进行口吃检测

    本研究通过使用预先训练的深度学习模型提取的语音嵌入，探索了使用 ECAPA-TDNN 和 Wav2Vec2.0 模型进行口吃检测任务的音频表示。相对于仅在有限 SEP-28k 数据集上训练的标准口吃检测系统，本研究在多个传统分类器上获得了 12.08％、28.71％、37.9％的相对改进并进一步证明结合两个嵌入和连接多个层的 Wav2Vec2.0 可进一步提高其性能。

    Jun, 2023

  • 基于 Transformer 编码器 - 编码器架构的口语检索

    本文提出了一种基于 Transformer 结构的语音词项检测方法，采用两个 BERT-like 编码器并进行了适当的修改，包括卷积和上采样层、注意力掩码、共享参数等，将假设和搜索术语投影到共享嵌入空间中，并使用校准点积计算假设的命中得分。在实验中，使用了 Wav2Vec 2.0 语音识别器，并在基于 USC Shoah 基金会视觉历史档案（MALACH）的英语和捷克 STD 数据集上，提出的系统优于基于深度 LSTM 的基线方法。

    Nov, 2022

  • 使用 LSTM 进行说话者分离

    本文介绍一种基于 d-vectors 的说话者辨识方法，将 LSTM-based 的 d-vector audio embeddings 与非参数聚类相结合，实现了最新的说话者辨识系统，与传统 i-vector 系统相比，取得了更好的结果。

    Oct, 2017

  • textTOvec: 深度上下文化的神经自回归主题模型，采用分布式组合先验

    本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。

    Oct, 2018

  • 文档排名双重嵌入空间模型

    该研究旨在探究神经单词嵌入作为文件评级的证据源，并提出了一种双重嵌入空间模型（DESM），在 Bing 等商业 Web 搜索引擎中可以更好地对置顶文档进行重新排名。

    Feb, 2016

  • 移动设备快速、紧凑、高质量基于 LSTM-RNN 统计参数语音合成器

    本文介绍在移动设备上部署的基于 LSTM-RNN 的 SPSS 的进一步优化，其中包括权重量化、多帧推理和鲁棒推理。使用了经过优化的 LSTM-RNN 的 SPSS 在运行时速度上可以与基于 HMM 的 SPSS 相媲美，同时保持自然性。对 LSTM-RNN - 基础的 SPSS 和基于 HMM 的单元选择语音合成之间的评估也在本文中呈现。

    Jun, 2016

  • 使用长短时记忆网络进行唇读

    本文介绍了利用神经网络从仅有的视觉信息（面部）中识别言语并实现唇读的方法，通过使用前馈和循环神经网络层（即 LSTM）堆叠成单一结构，并对其进行训练，成功地实现了比传统方法更高的识别准确性。

    Jan, 2016

  • 基于语言模型整合的传声器语音识别的实证研究

    在端到端的 RNN-Transducer（RNN-T）中使用仅文本数据是具有挑战性的，本文研究了使用密度比和内部语言模型（ILM）估计的方法来将外部语言模型（ELM）集成到 RNN-T 中以实现语音识别，并提出了一种低阶密度比方法（LODR），在 LibriSpeech，Tedlium-2，WenetSpeech 和 AISHELL-1 数据集上的大量实验表明，LODR 始终优于 SF，在大多数测试中表现优于 DR 且一般性能接近 ILME。

    Mar, 2022