通过研究合成音频数据进行基于音频的对话状态追踪，该论文开发了级联和端到端模型，用合成音频数据进行训练，并在实际人类语音数据上进行了测试。实验结果显示，仅在合成数据集上训练的模型可以将其性能推广到人类语音数据。消除对人类语音数据采集的依赖，这些研究成果为基于音频的对话状态追踪的重要实际进展铺平了道路。

Dec, 2023

本文介绍了一种基于 Transformer 神经网络的直接语音翻译技术，利用伪标签和外部数据来提升翻译效果，并在 Fisher 英西测试数据上创造了最好的翻译结果

May, 2022

本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

Mar, 2022

我们提出了三种方法来生成合成样本，以训练和评估能够处理文本和语音输入的多模态大语言模型。通过解决包含多种模态的样本的稀缺性问题，合成数据生成成为提高这些系统性能并促进语音和文本领域的跨模态关系建模的关键策略。我们使用大型语言模型生成文本组件和文本到语音系统生成语音组件的过程。所提出的方法提供了一种实用且有效的扩展这些模型训练数据集的方式。实验结果表明，在理解文本和语音方面取得了进展。我们还强调了使用未标注的语音数据来生成质量可与有可用转录的样本媲美的合成样本的潜力，从而使这些模型能够更多地应用于其他语言。

Jun, 2024

本文研究表明，基于自回归神经网络模型的最近的语音合成系统几乎可以生成与人类录音难以区分的语音。而这些模型需要大量的数据，本文证明可以用其他讲话者的数据弥补一个讲话者数据的不足。

Nov, 2018

人机交互中通过文字合成语音音频和共同语音三维手势运动的方法是一个新兴的领域。本研究提出了通过合成附加训练材料的简单解决方案来解决数据短缺问题，并通过引入更好和可控的韵律建模的新合成架构来改善多模态模型的合成质量。

Apr, 2024

通过对大规模数据集进行训练的文本到语音模型展示了令人印象深刻的语境学习能力和自然度。然而，这些模型中的说话人身份和风格的控制通常需要以参考语音录音为基础，从而限制了其创造性应用。相反，关于说话人身份和风格的自然语言提示已经展示了有希望的结果，并提供了一种直观的控制方法。然而，依赖于人工标注的描述限制了其扩展到大规模数据集的能力。我们的工作弥合了这两种方法之间的差距。我们提出了一种可扩展的方法来对说话人身份、风格和录音条件的各个方面进行标注。然后，我们将这种方法应用到一个 45k 小时的数据集上，用于训练语音语言模型。此外，我们提出了简单的方法来增加音频保真度，尽管完全依赖于现有数据，但性能显著超越了最近的工作。我们的结果展示了通过单一模型和直观的自然语言条件，实现了高保真度的语音生成，在各种口音、韵律风格、信道条件和声学条件下均表现出色。可以在此网址听到音频样本。

Feb, 2024

本研究提出了一种数据增量方法，利用预训练语言模型提高生成话语的变异性和准确性，同时探讨和提出了两种在 SLU 中被忽视的半监督学习情况的解决方案。实证结果表明，我们的方法可以生成合成训练数据，在各种情况下提高了语言理解模型的性能。

Apr, 2020

我们评估了用于训练自动语音识别（ASR）的合成数据的效用，并使用 ASR 训练数据训练一个类似 FastSpeech-2 的文本转语音（TTS）系统，通过该 TTS 我们在仅使用合成数据训练 ASR 系统。我们使用了三种不同的 ASR 架构，注意力机制的编码器 - 解码器、混合深度神经网络潜马尔科夫模型和高斯混合潜马尔科夫模型，展示了这些模型对合成数据生成的敏感性。为了扩展之前的工作，我们进行了一些消融研究，以评估合成数据和真实训练数据对 ASR 的有效性。我们特别关注训练在合成数据和真实数据之间的差距如何随着讲话者嵌入或模型规模的变化而改变。我们表明，即使训练分数表明过拟合，TTS 模型也能很好地推广。

Jul, 2024

最近基础模型的进展使得能够生成与音乐、事件和人类活动相关的高保真声音的音频生成模型成为可能。尽管现代音频生成模型取得了成功，但传统的音频生成质量评估方法主要依赖于类似 Frechet Audio Distance 的距离度量。相比之下，本文旨在通过检验将其作为训练数据使用的效果来评估音频生成的质量，在这方面我们进行了一系列的研究。具体地，我们进行了使用合成音频进行音频识别的实验，同时探索了合成音频在语音相关建模中作为数据增强资源的潜力。全面的实验结果显示了使用合成音频进行音频识别和语音相关建模的潜力。我们的代码可在此 https URL 中获得。

Jun, 2024