本文介绍了一种名为 EditSpeech 的语音编辑系统的设计、实现和评估，该系统允许用户对给定的语音进行单词的删除、插入和替换，同时保持原始语音质量和自然度不受影响。EditSpeech 是基于神经文本到语音（NTTS）综合框架开发的，使用了部分推理和双向融合技术，有利于有效地吸收与编辑区域相关的上下文信息。在英语和汉语的多说话人场景下，EditSpeech 系统进行了开发和评估。客观和主观评估表明，EditSpeech 在低频谱变形和优选语音质量方面优于几种基线系统。此外，网络上可以找到此文的音频样例。

Jul, 2021

本文研究了基于文本声音编辑技术（Text-based voice editing，TBVE）的新方法，通过使用预训练说话人验证嵌入和联合训练参考编码器的方法，增强了语音中的说话人身份和韵律连续性。

Oct, 2022

该研究提出了一种基于转录的视频编辑新方法，可以实现修改视频内容、消除废话词，同时保持音视频流畅的无缝过渡，并使用注释参数和优化策略生成最终逼真的视频输出。

Jun, 2019

该论文介绍了一种端到端的跨语言文字转语音方法，使用基于非注意力 Tacotron 架构的模型，并通过使用条件为说话人身份的归一化流网络，实现 TTS 和语音转换（VC）的可同时进行，该方法可以在低资源情景下获得良好效果。

Oct, 2022

通过结合自然语言处理，本研究提出了一种名为 LLM-TSE 的模型，可以提取用户输入的文本信息中的有用语义线索，辅助预注册线索或独立控制目标说话人提取过程。实验结果表明，当仅使用文本线索时，性能表现有竞争力，并且结合预注册声学线索时，创造了新的最先进水平。据我们所知，这是首个成功将文本线索纳入目标说话人提取任务的研究，可作为研究鸡尾酒会问题的基石。

Oct, 2023

提出了一个计算机辅助文本编辑的框架，通过神经序列到序列建模和引入一个以输入句子和更改标记为输入的神经网络来解决翻译后编辑和改写问题，并通过用户研究评估了该模型的效果。

Nov, 2017

该研究提出了一个跨语言语音合成框架，包括上游声码转换模型和下游文本转语音模型。通过在四个阶段中使用声码转换模型将目标语音转换为目标说话人的声音、联合目标语言的语言特征和持续时间进行单一说话人声学模型的训练以及设计一种与地区无关的波形合成器等方法，我们的评估表明这种方法优于现有的基于多语言训练模型的方法，并在不同的模型结构、语言、说话人和数据量方面展现出其鲁棒性，尤其适用于资源匮乏环境。

Sep, 2023

我们工作引入了一种新颖的多模态声音混合编辑器 'LCE'，它根据用户提供的文本指令修改混合中的每个声源。LCE 通过用户友好的聊天界面和其独特的能力在混合中同时编辑多个声源，无需将它们分离。用户输入自由词汇文本提示，由大型语言模型解释以创建语义过滤器来编辑声音混合。系统将混合分解为组成部分，应用语义过滤器，并将其重新组装成期望的输出。我们开发了一个 160 小时的数据集，包括 100k 个混合物，包括语音和各种音频源，以及用于不同编辑任务（如提取、删除和音量控制）的文本提示。我们的实验证明，在所有编辑任务中信号质量有显著提高，并且在不同数量和类型的声源的零 - shot 场景中表现稳健。

Feb, 2024

本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

Jun, 2022

该论文提出了 UnifySpeech 模型，它首次将文字转语音（TTS）和语音转换（VC）结合到一个框架中，通过矢量量化和域限制技术，加强了 TTS 的说话人建模能力和 VC 的语音内容解耦能力。

Jan, 2023