本研究提出 AUDIT，一种基于潜在扩散模型的指导音频编辑模型，通过三元训练数据（指令、输入音频、输出音频）训练扩散模型，同时利用输入和指令生成输出音频，实现只修改需要编辑的音频，且只需要编辑指令而非完整的目标音频描述，取得了多项音频编辑任务上的最优结果。

Apr, 2023

本文介绍了一种新的 T2V 框架，通过引入音频信号来控制时间动态，从而使传统的 T2I 扩散生成可以与音频对齐的视频。我们提出了基于音频的区域编辑和信号平滑方法，以在视频综合的时间灵活性和一致性之间取得良好平衡，并通过实验验证了方法的有效性，并提出了实际应用。

May, 2023

我们提出了一种能够在大规模图像扩散模型中实现音频条件的方法，通过将从音频剪辑中获取的特征映射到可以注入扩散模型的令牌中，引入了额外的音频 - 图像交叉注意力层，可以与扩散编辑方法相结合进行音频条件的图像编辑。

May, 2024

该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

May, 2023

通过非刚性文本编辑探索音频编辑，我们展示了所提出的编辑流程能够创建与输入音频保持一致的音频编辑结果。我们研究了能够执行加法、风格转移和修复的文本提示，并在定量和定性上展示了这些编辑结果优于最近发布的文本提示音频生成模型 Audio-LDM。通过对结果的定性检查，我们发现我们的方法给出的编辑结果在保持音频事件的原始起始点和结束点方面更为忠实。

Oct, 2023

研究使用 diffusion-DPO（直接偏好优化）损失在偏好数据集上对 Tango 文本到音频模型进行微调，以改进音频生成性能，并且在自动和手动评估指标上显示出优于 Tango 和 AudioLDM2 的效果。

Apr, 2024

通过引入 Prompt Auto-Editing (PAE) 方法，我们改进了文本生成图像的初衷，进一步采用在线加强学习策略来探索每个词的权重和注入时间步长，从而实现了动态的精细控制提示。实验结果表明，我们的方法在改善原始提示的同时生成了视觉更吸引人的图像，并保持了语义的一致性。

Apr, 2024

本文对音频扩散模型进行了调查，针对文本转语音和语音增强这两个活跃任务，它将方法分为三类，即声学模型、波导合成和端到端框架，并通过添加或去除特定信号将各种语音增强任务进行分类，最后进行实验结果比较和讨论。

Mar, 2023

我们展示了如何从扩散模型中进行条件生成，以解决音乐制作中的各种现实任务，包括音乐音频的延续、修复和再生，不同音乐轨道之间的平滑过渡以及将样式特征传递给现有音频片段。

Nov, 2023

使用预训练的大型模型以零样本方式编辑信号已在图像领域取得快速发展，而这一浪潮尚未触及音频领域。本文探讨了两种用于音频信号的零样本编辑技术，利用预训练扩散模型上的 DDPM 反演。第一种技术从图像领域引入，允许基于文本进行编辑。第二种方法是一种无监督发现语义有意义的编辑方向的新方法。将其应用于音乐信号时，该方法展示出一系列在音乐上有趣的修改，从控制特定乐器的参与到对旋律的即兴演奏。示例可在本文的示例页面（https URL）上找到，代码可在这个 https URL 找到。

Feb, 2024