Apr, 2024

TIMIT 说话人特征分析：多任务学习与单任务学习方法的比较

PDF
TL;DR本研究采用深度学习技术在 TIMIT 数据集上探索了四个说话人特征分析任务，分别为性别分类、口音分类、年龄估计和说话人识别，突出了多任务学习与单任务模型之间的潜力和挑战。该研究旨在经验性地评估在说话人特征分析领域中，多任务学习相对于单任务模型的优势和缺点，并强调技巧性特征工程在说话人识别任务中的重要性。研究发现了口音分类方面的挑战，并且发现多任务学习对于任务的复杂性较高。在说话人识别中，非顺序特征受到偏好，而顺序特征可以作为复杂模型的起点。该研究强调了对于深度学习模型的细致实验和参数调整的必要性。
deep learning techniquesspeaker profilingmulti-task learningfeature engineeringparameter tuning
发现论文，激发创造
  • 低资源口语理解的多任务学习

    本研究探讨了多任务学习在语音处理中的优势，通过使用自动语音识别和意图分类或情感分类的双重目标来训练模型，我们的模型虽然规模适中，但我们的研究表明多任务学习可以在低资源情况下与基线模型竞争，并且在情感分类上表现与端到端模型相当。

    Nov, 2022

  • 神经会话模型中的说话者角色自适应多任务学习

    本文提出了一种使用多任务学习方法训练神经会话模型的方式来解决根据具体发言人训练缺乏数据、建立基于角色的会话代理的问题。实验证明该方法显著提高了基线模型的质量，生成更准确地捕捉发言者特征和讲话风格的响应，并且该方法算法简单易实现，不依赖于代表特定个体发言者的大量数据。

    Oct, 2017

  • 多方对话中神经说话人建模：任务、数据集和模型

    本文主要探讨了基于神经网络的对话系统中说话者建模的重要性问题，提出将说话者分类作为通用说话者建模的代理任务，并收集大量数据以支持这个方向的研究，进一步研究了基于时间和基于内容的说话者模型，并提出了几种混合模型。实验结果表明，说话者分类是可行的，混合模型表现优异。

    Aug, 2017

  • 多模态 LSTM 的发言人识别技术 - 看、听、学习

    本文提出了一种新颖的多模态长短时记忆结构 (MLSTM)，它可以无缝整合来自视频序列的视觉和听觉信息，建模人脸和声音之间的时间依赖关系，从而提高语音识别的鲁棒性和识别精度。

    Feb, 2016

  • 基于对抗多任务学习的说话人和年龄不变性训练，用于儿童声学建模

    本文提出了基于对抗多任务学习的演讲者及年龄不变训练方法，利用时间延迟神经网络生成说话者及年龄不变特征与语音、年龄和演讲者三个判别式网络相连，成功降低了语音识别中的错误率。

    Oct, 2022

  • 联合检测和分离歌声：一种多任务方法

    本文探讨了利用多任务学习中的歌声活动检测作为额外任务来稳定和提高语音分离性能的方法，并提出了对于每个数据集特定的问题偏差的解决方法，最终实验表明与单任务相比，该方法在分离和歌声检测方面均有较大改进。

    Apr, 2018

  • 基于深度学习的说话人识别综述

    本文综述了说话人识别的几个主要子任务，包括说话人验证、识别、日程管理和鲁棒的说话人识别，着重介绍基于深度学习方法的说话人特征提取、说话人日程管理和鲁棒的说话人识别，以及领域适应和语音增强等方面的最新研究进展。

    Dec, 2020

  • FonMTL: 面向 Fon 语的多任务学习

    本文介绍了多任务学习在 Fon 语言的自然语言处理中的应用，具体研究了 Fon 语言的命名实体识别和词性标注任务，并展示了在这些任务上相对于其他预训练的多语种语言模型来说，具备竞争力或者更好的性能。

    Aug, 2023

  • 多任务演讲者关键词分类模型，用于保持人在无人机辅助巡检的循环中

    该研究旨在构建一种具有共享分裂协作结构的多任务深度学习模型，用于通过音频命令，对半自主无人机进行民用基础设施检查，该模型可以分类任何授权检查员的关键词，并在说话者分类方面取得了 99.2％的平均准确度。同时，该论文还探讨了该模型在人机交互中的应用价值。

    Jul, 2022

  • 低资源多语言和零样本多说者 TTS

    在这项工作中，我们将零样本语音克隆和多语言低资源语音合成的任务结合在一起。通过使用语言不可知的元学习（LAML）程序和对 TTS 编码器的修改，我们证明了一个系统可以学习在只有 5 分钟的训练数据下说一个新语言，同时保留了推断新学习语言中甚至看不到的说话者声音的能力，并提供了开源的代码和训练模型。

    Oct, 2022