本文研究语音合成技术，并采用先进的机器学习方法克服了振幅频谱和声学模型过度平滑等局限性，在大规模众包评估中，发现生成性对抗网络和自回归模型表现优于普通循环神经网络。同时，使用相同的自回归声学模型进行评估，Wavenet 声码器优于经典的源 - 滤波器型声码器。尤其是，组合自回归声学模型和 Wavenet 声码器生成的语音波形与声学单元表现出类似的语音质量得分。

Apr, 2018

本文介绍一种转换语音的新方法，提出了在应用 Sequence-to-sequence (seq2seq) voice conversion (VC) 模型之前，将其他语音处理任务如文本到语音 (TTS) 和自动语音识别 (ASR) 应用到模型中来传递知识，从而生成高质量，高准确性，高还原度的语音，证明了 transformer 模型在智能，自然和相似性方面优于 RNN 模型。

Aug, 2020

利用自监督 VQ-Wav2vec 表示的任意人说话到固定目标说话的任意对一语音转换问题的序列到序列框架，通过预处理和后处理方法，我们的模型可以具有更好的泛化能力，即使只有 5 分钟的数据。

Oct, 2020

本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单， 示范了在有限标注数据情况下实现语音识别的可行性。

Jun, 2020

本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

Apr, 2019

本文介绍了 TS2Vec，它是一种用于在任意语义级别学习时间序列表示的通用框架。通过对增强的上下文视图进行分层对比学习，TS2Vec 能够为每个时间戳提供强大的上下文表示，并通过简单的聚合来获得时间序列任意子序列的表示，通过实验评估表明，TS2Vec 在时间序列分类、时间序列预测和异常检测任务中具有良好的性能。

Jun, 2021

本文提出了一种基于 Transformer 架构和文本到语音预训练的新颖的序列到序列语音转换模型，通过预训练的方式，向转换模型传递语音相关的知识，实现数据高效训练，提高语音转换的清晰度、自然度和相似度。

Dec, 2019

时间序列分析与视觉或自然语言处理在定义有意义的自监督学习任务方面具有根本的区别。为了解决这个问题，我们引入了一种称为 Series2Vec 的自监督表示学习的创新方法，通过自监督任务在时间和频谱域中对两个序列之间的相似性进行预测，而不是基于手工数据增强的自监督方法。我们的实验证明，Series2Vec 在大规模真实世界数据集和 UCR/UEA 存档上的表现优于当前最先进的自监督技术，同时在有限标记数据集上具有高效性。此外，我们将 Series2Vec 与其他表示学习模型进行融合，可以提高时间序列分类的性能。

Dec, 2023

通过改进结构和训练机制，提出的 VITS2 单阶段文本转语音模型在自然度、多说话人模型的语音特征相似性以及训练和推断的效率方面取得了显著改进，并且成功减少了对音素转换的强依赖，实现了完全的端到端单阶段方法。

Jul, 2023

时间序列上的自我监督学习能够使得类似于自然语言处理和计算机视觉领域中最近释放的潜力发挥出来。通过使用基于 data2vec 自蒸馏框架的一个概念上简单而强大的非对比度方法，我们的方法展示了在分类和预测等下游任务上与 UCR、UEA 和 ETT 以及 Electricity 数据集上的最先进的自我监督学习方法相比的竞争力。

Nov, 2023