本文提出了一种基于文本输入生成音频的生成模型，使用数据增强技术和多流建模来减轻音频生成中的诸多挑战，包括文本注释的稀缺性、高保真音频编码和多个音频源的难以分辨等，并实现了比其他基准模型更好的音频生成效果。

Sep, 2022

该论文提出了基于潜在扩散的T2A方法——Make-an-Audio 2，通过使用预训练的大型语言模型，设计了一些技术来提高语义一致性和时间一致性，并利用LLMs将大量音频标签数据变成音频-文本数据集。实验证明，该方法在客观指标和主观指标上均优于基线模型，并在时间信息理解、语义一致性和音质方面取得了显著进展。

May, 2023

通过收集离散声学代码并进行微调，AudioFormer 对音频分类任务提出了一种学习音频特征表示的方法。采用已有的神经音频编解码模型，生成离散声学代码并利用它们来训练掩码语言模型，从而获取音频特征表示。此外，通过采用多正样本对比学习方法，实现了多个离散声学代码在同一音频输入中的联合表示学习。实验结果表明，与传统单模音频分类模型相比，AudioFormer 在多个数据集上取得了显著提升，在某些数据集上甚至超越了音频-视觉多模分类模型的性能。

Aug, 2023

我们提出了一种基于公共工具或API的创新型自动音频说明生成流程，并构建了一个大规模、高质量的音频语言数据集Auto-ACD，其中包含超过190万个音频文本对。通过在我们的数据集上训练流行模型并展示在各种下游任务（包括音频语言检索、音频说明和环境分类）上的性能改进，证明了所提出数据集的有效性。此外，我们建立了一个新颖的测试集，并为音频文本任务提供了一个基准。该数据集将在此https URL上发布。

Sep, 2023

我们提出了Synthia's melody，一个能够模拟具有用户指定混淆结构的无数种4秒旋律的音频数据生成框架，用以填补未经探索的音频领域无监督领域适应性研究的空白，并通过生成两种类型的分布偏移 - 模型域偏移和样本选择偏差来评估声学深度学习模型在这些偏移下的表现。我们的评估结果显示，Synthia's melody为检验这些模型对不同程度分布偏移敏感性提供了稳健的测试平台。

Sep, 2023

利用语言模型和音频编解码技术，SemantiCodec是一种能够以非常低的比特率将各种类型的音频压缩为每秒少于一百个标记的新型编解码器，具有更高的重构质量和更丰富的语义信息。

Apr, 2024

我们通过增加自然语言标签和相应的音频信号处理操作，使用大型语言模型提供了一个高质量的训练数据集，该数据集在文本和音频相关模型的基准测试中提供了多样化且更好对齐的示例，从而改善了模型的性能。

May, 2024

最近基础模型的进展使得能够生成与音乐、事件和人类活动相关的高保真声音的音频生成模型成为可能。尽管现代音频生成模型取得了成功，但传统的音频生成质量评估方法主要依赖于类似Frechet Audio Distance的距离度量。相比之下，本文旨在通过检验将其作为训练数据使用的效果来评估音频生成的质量，在这方面我们进行了一系列的研究。具体地，我们进行了使用合成音频进行音频识别的实验，同时探索了合成音频在语音相关建模中作为数据增强资源的潜力。全面的实验结果显示了使用合成音频进行音频识别和语音相关建模的潜力。我们的代码可在此https URL中获得。

Jun, 2024

通过语音标注管道，使用音频语言模型合成准确且多样的音频标注，提供了合成标注数据集以及训练基于合成标注的文本转音频模型，取得了新的最先进的结果。

Jun, 2024

我们提出了两种新模型AutoCap和GenAu来解决由于数据稀缺和标题质量不足造成的环境声音和效果生成问题，AutoCap利用音频的元数据显著提高了标题的质量，而GenAu则通过使用新数据集进行训练，在生成的音频质量上取得了显著的改善。

Jun, 2024