Jun, 2023

对话的艺术：用孪生循环神经网络测量第二语言中发音收敛和有意模仿

PDF
TL;DR本研究提出了一种连体递归神经网络（RNN）结构，用于衡量 L2-L2 交互中语音的全谱特征收敛现象，并证明该模型能够有效捕捉语音收敛的动态和说话人的模仿能力。
发现论文，激发创造
  • 利用母语信息提高口音识别能力

    本研究提出一种基于使用原生语言（西班牙语和印度语）预训练的端到端循环神经网络多任务学习模型，成功实现对英语口音的识别，相比于其他训练方法，此方法在减小语音中字符错误率方面表现更加优异。

    Apr, 2019

  • 语言熟练度与 F0 同步：对意大利、法国和斯洛伐克母语者进行 L2 英语模仿的研究

    这项研究探讨了第二语言（L2）英语演讲模仿中 F0 演化的问题，在交替阅读任务（ART）中。结果表明，L2 英语熟练程度与演化之间存在微妙的关系：熟练程度较高的演讲者在音高变化和下降方面通常表现出较少的演化。然而，在一对一的情况下，熟练程度较高的演讲者表现出更强的模仿音高范围的能力，导致进一步的演化。这表明熟练程度在个体和对位级别上对演化产生不同的影响，突出了语言技能和韵律的复杂相互作用。

    Apr, 2024

  • 跨口音语音识别上的快速适应学习

    研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

    Mar, 2020

  • 基于音素、字素和多语言 CTC 的语音识别

    该论文研究了通过使用其他语言的数据和建立多语言系统来处理自动语音识别中数据稀缺性的问题，使用循环神经网络和连接时序分类等技术进行训练，提高了多语言系统的性能，缩小了单语和多语系统之间的差距。

    Nov, 2017

  • 跨语言声学 - 语音相似度对多语种语音识别的影响研究

    本文提出了一种新的数据驱动方法来研究跨语音识别方案中的跨语言声学语音相似性，通过训练深度神经网络来将来自不同声音模型的分布转化为可直接比较的形式，并通过熵分析发现少重叠语音的语言更易于跨语言传输，在融合单语言模型方面取得了相对于单语言识别的 8％的改进。

    Jul, 2022

  • 基于数据及知识驱动的多语言训练方法，提升印度语言语音识别系统的性能

    使用数据和知识驱动的方法结合多语言语音数据来进行自动语音识别系统的多语言训练，并在低资源和中资源运用 DNN 的分层映射技术和多任务 DNN 模型，分别在印度语种中取得 9.66％ ~ 27.24％不等的相对准确率提升。

    Jan, 2022

  • 跟我复读：通过模仿发音实现声学到发音器官映射的自监督学习

    本文提出了一种语音合成的计算模型，该模型结合了以神经网络为基础的喉咙模型、基于深度神经网络的预测模型和基于递归神经网络的反演模型，从声音数据中自主训练。结果表现出了令人鼓舞的效果。

    Apr, 2022

  • 孪生自然语言跟踪器：通过自然语言描述进行跟踪的孪生跟踪器

    提出 “Siamese Natural Language Tracker” 的新方法，应用于自然语言描述任务的跟踪。相关实验证明，该算法比 “Siamese trackers” 有显著提升，是目前最好的实时跟踪器之一。

    Dec, 2019

  • 神经模型在自动对话分析中的应用调查：朝着更好地融合社会科学

    本文综述了一些新的神经架构，并探讨了将其应用到更加基本的对话特点，例如情绪，对话行为和协同建构。基于社会科学文献，本文的作者相信对话最基本、最核心的特征是其由两个或多个交流者在时间上共同建构。

    Mar, 2022

  • 基于 CTC 的声学模型的多语言训练和跨语言适应

    研究了多种适应和规则化技术，并使用深度神经网络，调查了自适应性训练的潜力， 并研究了退火珂朵莉的效果，得出结果表明使用 LHUC 进行适应可以改善全语言子母的 CTC 系统的性能，并且在有限数据上可以实现与 DNN/HMM 系统的竞争性性能。

    Nov, 2017