本文介绍了一种利用自然语言生成的人工语音并结合于现有的自动语音识别系统中的方法，并证明仅需使用语音文本数据就可对ASR系统进行增强，相对于数据扩充的基线模型，本方法在LibriSpeech-100h上获得了高达33%的错误率降低并且相对于最新ASR基线模型在LibriSpeech-960h上也获得了高达5%的未识别词率降低。

Dec, 2019

本文提出了一个多阶段训练策略， 包括数据增强，编码器冻结和参数正则化，并利用人工合成音频提高医疗用途语音识别（ASR）的识别性能，降低了生产数据的成本和依赖性。

Jun, 2021

本文提出了一种简单的基线技术，使用单个扬声器的TTS引擎将纯文本语料库转换为音频数据，并使用目标域中的并行数据对通用ASR模型的最终密集层进行微调，结果表明，单个发声者TTS数据与仅微调最终密集层的结合可合理提高单词错误率.

Jun, 2022

本文探讨使用预训练神经网络和传统文本增强方法来进行自动语音识别数据的文本增强，并利用文本转语音系统将生成的合成文本转换为合成语音并添加到自动语音识别训练数据中，实验结果表明使用现代神经方法的文本增强是提高自动语音识别系统准确性的可行工具

May, 2023

提出了一种新的自适应ASR模型到新目标领域的策略，其中使用大型语言模型生成目标领域文本语料库，并使用最先进的可控语音合成模型生成相应的语音，通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果，实验证明该方法在未知目标领域上能达到平均相对词错误率提高28%，且源领域性能无降低。

Sep, 2023

对多轮对话数据生成进行了系统综述，包括开放领域对话系统、任务导向对话系统和信息搜索对话系统，提出了一个概括对话数据生成系统主要原则的通用框架，并探讨了合成对话数据的评估指标和方法、当前领域的挑战以及未来研究的潜在方向。

May, 2024

我们提出了三种方法来生成合成样本，以训练和评估能够处理文本和语音输入的多模态大语言模型。通过解决包含多种模态的样本的稀缺性问题，合成数据生成成为提高这些系统性能并促进语音和文本领域的跨模态关系建模的关键策略。我们使用大型语言模型生成文本组件和文本到语音系统生成语音组件的过程。所提出的方法提供了一种实用且有效的扩展这些模型训练数据集的方式。实验结果表明，在理解文本和语音方面取得了进展。我们还强调了使用未标注的语音数据来生成质量可与有可用转录的样本媲美的合成样本的潜力，从而使这些模型能够更多地应用于其他语言。

Jun, 2024

本研究解决了合成数据在自动语音识别（ASR）训练中的有效性问题。通过使用合成的文本到语音系统（类似于FastSpeech-2），我们探讨了ASR模型对合成数据的敏感性，特别是通过不同的发音嵌入和模型规模的变化。研究结果表明，合成数据与真实数据之间的表现差距可以通过合理的模型调整得到改善，为ASR系统的训练方法提供了新的见解。

Jul, 2024

本研究解决了在多角色设置下生成高质量合成对话音频的问题。提出的ConversaSynth框架有效生成多样且连贯的文本对话，并通过语音合成技术将其转化为音频。实验结果显示，生成的合成数据集具有显著的多样性和真实感，能够显著提升音频标记、分类及多讲者语音识别模型的训练和评估。

Sep, 2024

本研究针对当前大型语言模型在多说话者场景中的应用缺乏，首次探讨了其在这些复杂环境中进行转录的潜力。通过结合WavLM和Whisper编码器提取多维语音特征，并将其输入到微调的LLM中，我们展示了MT-LLM系统在鸡尾酒会场景中的优异表现，证明了LLM在遵循用户指令进行语音处理方面的巨大潜力。

Sep, 2024