非刚性文本提示的音频编辑

Oct, 2023

Audio Editing with Non-Rigid Text Prompts

Francesco Paissan, Zhepei Wang, Mirco Ravanelli, Paris Smaragdis, Cem Subakan

TL;DR通过非刚性文本编辑探索音频编辑，我们展示了所提出的编辑流程能够创建与输入音频保持一致的音频编辑结果。我们研究了能够执行加法、风格转移和修复的文本提示，并在定量和定性上展示了这些编辑结果优于最近发布的文本提示音频生成模型 Audio-LDM。通过对结果的定性检查，我们发现我们的方法给出的编辑结果在保持音频事件的原始起始点和结束点方面更为忠实。

Abstract

In this paper, we explore audio-editing with non-rigid text edits. We show that the proposed editing pipeline is able to create audio edits that remain faithful to the input audio. We explore text prompts that pe

audio-editing non-rigid text edits addition style transfer in-painting

发现论文，激发创造

基于扩散的刚体与非刚体编辑方法及其在文本和图像导向下的统一应用

该研究提出了一种多功能图像编辑框架，可以执行刚性和非刚性编辑，并通过文本提示或参考图像进行引导。通过应用双路径注入方案来处理各种编辑场景，并引入了整合的自注意机制来融合外观和结构信息。综合实验证明了该方法的有效性，在基于文本的编辑和外观转换任务中取得了竞争性或优越的结果，适用于刚性和非刚性设置。

Jan, 2024

条件音频生成中的上下文提示编辑

在机器学习模型的部署过程中，分布偏移是一个主要的挑战，特别是在文本到音频生成领域。为了解决用户提示信息过于模糊导致生成音频质量下降的问题，本文提出了一个基于检索的上下文提示编辑框架，利用训练标题作为示范样本重新审视用户提示，进而增强了收集到的用户提示的音频质量。

Nov, 2023

基于提示的文本风格转移编辑

该论文提出了一种基于提示的文本风格转换编辑方法，其中使用预训练语言模型进行风格分类，使用分类概率计算风格得分，然后通过词级别的编辑，以最大化全面的评分函数来实现风格转换任务，实验表明其性能远高于具有 20 倍参数的现有技术。

Jan, 2023

无需训练的非刚性编辑中的时间感知采样的潜在倒置

通过文本引导的非刚性编辑的培训自由方法，提出了一种利用稳定扩散的非刚性编辑的方法，旨在提高身份保留质量而不损害可编辑性。通过文本优化、潜在反转和时间步感知文本注入采样三个阶段来实现该方法。通过广泛的实验验证了该方法在身份保留、可编辑性和美学质量方面的有效性。

Feb, 2024

基于提示的扩散模型精确音频编辑

通过输入的文本提示，我们提出了一种名为 PPAE 的新颖方法，它作为扩散模型的通用模块，实现了精确的音频编辑，通过扩散模型的交叉注意力图来促进准确的局部编辑，并采用分层的局部 - 全局流程确保更流畅的编辑过程，实验证明了我们方法在各种编辑任务中的有效性。

May, 2024

零遮挡文本驱动的面部编辑

本研究提出了一种基于任意文本提示的人脸编辑方法，通过在人脸图像上施加矢量流场来表示空间坐标和像素颜色的偏移，其中流向量通过栅格化张量或隐式参数化的神经网络实现，并借助预训练的 Contrastive Language-Image Pretraining~(CLIP) 模型进行优化，实现了高度一致性和图像质量的可解释性人脸编辑结果。

Aug, 2023

跨注意控制的提示到提示图像编辑

该文提出了一种基于文本的图像编辑框架，利用交叉注意力层控制图像布局和文本之间的关系，实现了在不改变原始内容情况下的全局和局部编辑，从而达到高质量的图像合成。

Aug, 2022

文本提示下的语音属性编辑

该论文提出了一个新颖的任务：在文本提示下进行声音特性编辑，目标是根据文本提示中描述的动作对声音特性进行相对修改。为了解决这个任务，提出了一种名为 VoxEditor 的端到端生成模型，其中设计了一个 Residual Memory（ResMem）块来有效地映射声音特性和这些描述符到共享的特征空间。此外，ResMem 块通过声音特性程度预测（VADP）块进行增强，以将声音特性与相应的描述符对齐，解决了由于声音特性的非定量描述而导致文本提示不精确的问题。我们还建立了开源的 VCTK-RVA 数据集，该数据集通过手动注释详细描述了不同说话人之间的声音特性差异。大量实验证明了我们所提出的方法在客观和主观指标上的有效性和泛化能力。数据集和音频样本可在网站上获得。

Apr, 2024

利用字幕和注入技术实现最小文本输入的用户友好型图像编辑

本文提出了两种基于提示生成框架的简单而有效的方法，以改善基于文本的图像编辑过程中用户工程的问题，并通过定性和定量实验证明了提示在基于文本的图像编辑中的重要性以及我们的方法可以与基于参考的提示相媲美。

Jun, 2023

Plasticine3D：基于文本引导的非刚性三维编辑

Plasticine3D 是一个通用的、高保真度的、逼真的、可控的非刚性编辑流程，它将编辑过程分为几何编辑和纹理编辑阶段，通过多视图嵌入 (MVE) 优化策略和嵌入融合 (EF) 来实现非刚性变形和可控的编辑。

Dec, 2023