Jul, 2023

语音表示学习：使用单视角、多视角和多任务方法进行双向编码器学习

PDF
TL;DR该论文研究了使用表示学习改进时间序列或空间序列数据的下游预测任务，通过使用学习到的表示。它主要涵盖了表示学习的多个设置，包括有监督学习、无监督学习、半监督学习和多视角学习，并探索了多种方法，特别关注于语音数据。
发现论文，激发创造
  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 多个自监督任务中学习与问题无关的语言表征

    本论文提出一种改进的自监督学习方法，其中单个神经编码器由多个工作人员共同解决不同的自监督任务，该方法可学习传输、强健和面向问题的特征，这些特征中包含了从语音信号中提取的相关信息，如讲话者身份、音素和情感线索。

    Apr, 2019

  • 无监督神经语音表示学习概述

    本文回顾了过去十年中无监督表示学习在语音处理领域的发展，归纳了自监督方法和概率隐变量模型这两类主要模型，提出了全面的分类方法，并讨论了这两类模型。

    Mar, 2022

  • 通过掩码重构无监督预训练双向语音编码器

    提出了一种使用掩蔽重构损失进行预训练语音表示的方法，实现了双向预训练编码器网络在典型的双向语音识别模型中的直接使用。该方法在 LibriSpeech 和 Wall Street Journal 语料库上的实验表明，预训练、掩蔽段、领域适应都能提高语音识别性能。

    Jan, 2020

  • 大脑的苦苦教训：自我监督学习下的语音解码的扩展

    开发一组神经科学启发的自监督目标和神经架构，用于从异构和无标记神经记录中进行表征学习，实验证明这些目标学习到的表征能够普遍适用于不同的被试者、数据集和任务，并比仅使用有标记数据时更快地学习；此外，为两个基础性语音解码任务设置了新的基准，这些方法现在可以利用数量级更多的现有数据来训练语音解码模型。

    Jun, 2024

  • 面向效率的自监督语音表示学习方法

    自我监督学习在计算机视觉、自然语言处理、生物学和语音等多个领域取得突破，然而现有方法的计算成本较高，限制了模型的部署、训练数据集的规模以及拥有大型自我监督模型的研究机构的数量。因此，需要进一步研究以解决自我监督表示学习中高计算成本的问题。

    Dec, 2023

  • Mockingjay: 无监督双向 Transformer 编码器的语音表征学习

    Mockingjay 是一种基于双向 Transformer 编码器的语音表示学习方法，它可以通过联合过去和未来的上下文来预测当前语音帧，提高音素分类、说话人识别和情感分类等下游任务的性能，且仅需很少的标注数据即可实现优越表现。

    Oct, 2019

  • 预训练语音编码器的自监督重连：在语音处理中以更少标签更快微调

    本文针对预训练语音编码器中的表示空间进行了研究，并通过对比自监督学习构建正对，以实现对表示空间的改进，进而在低资源环境下提高了语音处理任务的收敛速度和表现。

    Oct, 2022

  • 通过大规模多任务学习学习通用分布式句子表示

    本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

    Mar, 2018

  • 基于 Transformer 的多变量时间序列表示学习框架

    本文提出了一种基于 transformer 的无监督多元时间序列表示学习框架，可以应用于回归、分类、预测和缺失值插补等下游任务，并通过多项基准数据集的测试实验证明了该方法的优越性和效率。同时表明，与监督学习方法相比，该方法在样本有限、计算加速方面具有明显优势，未标注数据的无监督预训练可以改善模型性能。

    Oct, 2020