我们提出了一种数据清洗方法，利用神经分析和合成（NANSY++）框架训练了一种端到端神经分离模型（EEND）用于歌手分离。我们的方法通过利用预训练的 NANSY++ 将合唱声变为干净、非重叠的音频信号，从而减轻了合唱声对独唱声的错误标注，并在可用的歌曲数据大部分包含合唱段落的情况下，帮助有效训练 EEND 模型。通过对带有注释的流行二重唱歌曲数据集进行实验证明，我们的方法使分离误差率提高了 14.8 个百分点。

Jun, 2024

本文提出了一种基于去噪声码器的语音增强方法，利用自监督学习获取语音的相关特征，并采用最佳的自监督学习配置，采用对抗训练方式进行声音去噪，最终实现了一种具备实时能力、优化了客观指标并超越了当前最先进的语音增强模型的方案。

Nov, 2022

本论文针对语音识别的问题，提出自我监督学习可能是解决这一问题的一个更好的选择，核心是自己生成特征，通过自我监督可以获得和人脑工作方式类似的神经网络模型，帮助理解语言习得和人脑在语音处理方面的机理。

Jun, 2022

本研究使用自我监督学习与深度神经网络等方法，探索提取声音和语音特征的最优表征，提出了多种编码器架构，并探讨了不同的预训练数据集。最后，我们提出了一个新的训练框架，用于结合手工特征和数据驱动特征，得到一个混合音频表征。在 HEAR 毕业设计的听觉场景分类和时间戳检测任务中，我们的实验表明，使用混合模型和卷积变压器作为编码器在大多数任务中都具有更优越的性能。

Jun, 2022

RobustL2S 是一种模块化的 Lip-to-Speech 合成框架，通过自监督学习对 Lip 形象进行映射，获得一种解耦的语音内容特征，再利用 vocoder 将语音特征转化为原始的声波信号，实现了在多个数据集上的最佳表现。

Jul, 2023

利用未标记语音音频、未标记文本和词典，我们引入了第一个基于简单而有效的配方的无监督语音合成系统。实验结果表明，该无监督系统在自然度和可理解度方面与监督训练的同类系统基本相同。

Apr, 2022

本研究提出了一种零样本文本转语音模型，使用自监督学习获取的语音表示模型进行条件控制，并引入了声学特征和音素持续时间预测器的分离调制以提高重现性能和语音转换效果。

Apr, 2023

利用基于 WaveNet 架构的新型合成模型，对参数声码器产生的特征进行建模，并使用混合密度输出，实现对每个帧的预测，避免了过度拟合，在预测错误的情况下进行自回归生成算法的正则化，成功将和声、非周期性和有声 / 无声组件预测在一起，比现有的参数化统计方法和拼接方法更为有效。

Apr, 2017

本文研究了非语言声音（NSV）建模作为文本转语音任务的可行性，评估了 HUBERT 语音单元在 NSVs 上的语音表现力和模型控制扩展演讲者音色的能力，还探讨了实现 NSV 建模的障碍，提出了五种未来研究改进方法。

Jun, 2022

本文旨在研究如何使用基于自监督语音表征的语音转换模型匿名处理声音数据，结果表明用这种方法匿名化处理的语音可以维持原始语音低的误识别率，但对于说话人验证存在性能下降的问题。此外，本文的研究还能以匿名的方式提取出健康语言和病理语言之间的区别语音特征。

Apr, 2022