text-to-speech | BriefGPT - AI 论文速递

关键词text-to-speech

搜索结果 - 142

利用参数高效的迁移学习进行多语言文本到语音调整
在多种语言环境中，为了有效地合成语音，开发一个能够应对不同语言的语音合成模型是具有挑战性的。本文提出了一种在多语言语音合成中，将参数高效的迁移学习方法（如适配器和超网络）与 TTS 架构集成的方法，并在实验中证明这种方法在性能上能够与全面微
PDF7 days ago
改进跨文本韵律转换的人机交互方法
通过使用人工调整显著的韵律相关因素，使得生成语音更适合目标文本，同时保持整体参考音调效果，可以提高跨文本韵律转换模型的感知自然度约 57.8％，分析结果显示，有限的用户努力就足够实现这些改进，并且潜在的参考空间接近性不是可靠的跨文本韵律相似
PDFa month ago
Small-E：用线性注意力实现高效语音合成的小型语言模型
最近关于文本到语音合成（TTS）的研究表明，使用语言模型驱动的 TTS 展示了卓越的能力，能够实现自然度和零样本声音克隆。本文提出使用新兴递归架构替代变压器，并引入专门的交叉关注机制以减少重复和跳跃问题。结果，我们的架构能够在长音频样本上高
PDFa month ago
表达性语音合成的风格混合专家模型
该研究提出了 StyleMoE 方法，通过将风格编码器建模的嵌入空间划分为可处理的子集，然后由专家处理。实验结果明确展示了该方法在增加多样且未知风格的风格空间覆盖方面的有效性，能够提升现有领先的风格转换语音合成模型的性能，并首次将 Mixt
PDFa month ago
语音增强的语言建模用于文本到语音合成
我们提出了一种声学增强的语言建模方法，通过使用语音单元预测中的错误积累来改善 TTS 模型的性能，通过自我监督表示来作为自回归语言模型的训练目标，并采用非自回归模型来预测包含细粒度声学细节的离散声学编解码器，以减少非自回归训练中的错误传播，
PDFa month ago
ControlSpeech: 实现解耦编解码器的零样本复制和零样本语言风格控制的同时处理
控制语音 (ControlSpeech) 是一个文本到语音系统，能够完全克隆说话者的声音，并且可以根据几秒钟的音频提示和简单的文本风格描述提示进行任意控制和调整。
PDFa month ago
利用多层次 VAE 和对抗训练进行的文本转语音口音转化
提出了一种利用多级变分自编码器与对抗学习的文本转语音模型，用于解决语音合成和转换中的口音问题，以期构建更具包容性的系统。通过客观评价指标和主观听觉测试对性能进行评估，结果表明与基线相比，口音转换能力有所提高。
PDFa month ago
利用人类反馈提升零样本语音合成
在此研究中，我们提出了一种将主观人类评估整合到 TTS 训练过程中的新方法，名为不确定性感知优化（UNO），通过考虑主观人类语音感知和评估中的固有变异性来最大化语音生成的效用，实验证明 UNO 极大地提升了 TTS 模型在 MOS、词错误率
PDFa month ago
USAT: 通用说话者自适应文本转语音方法
现有的文本转语音（TTS）研究主要致力于提高训练数据集中演讲者合成语音的质量。为迎接有限参考数据的见外 / 未训练演讲者进一步合成真实语音的挑战，我们提出了一个整合了零样本和少样本演讲者适应策略的框架。
PDF2 months ago
StoryTTS：一个具有丰富文本表达注释的高度表现力的文本到语音数据集
我们介绍了 StoryTTS，一种包含丰富的声学和文本表现力的 ETTS 数据集，通过系统和全面的标注框架定义了五个维度的文本表现力，并使用大型语言模型进行批量注释，结果是包含 61 小时的连续且高度抑扬顿挫的语音，带有准确的文本转录和丰富
PDF2 months ago
Interspeech 2024 离散语音单元挑战中的语音处理技术报告
本文介绍了上海交通大学 X-LANCE 小组在 Interspeech 2024 离散语音单元挑战赛的 TTS（声学 + vocoder）、SVS 和 ASR 任务中开发的系统，尤其是在 TTS 任务中，无论是使用整个训练集还是仅 1 小时
PDF3 months ago
HyperTTS: 基于超网络的文本转语音中的参数高效适应
Neural speech synthesis and domain adaptation in text-to-speech (TTS) achieved state-of-the-art performance using HyperT
PDF3 months ago
基于扩散的文本转语音模型的语义潜空间
在语音合成领域中，噪声扩散模型（Denoising Diffusion Models，DDMs）的整合应用日益增多。尽管其音频质量出色，但其语义能力的程度未知，并且控制其合成语音的音色属性仍然具有挑战性。受到图像合成的最新进展的启发，我们探
PDF4 months ago
BASE TTS：基于 100K 小时数据构建亿参数的文本转语音模型的经验教训
我们介绍了一个名为 BASE TTS 的文本转语音 (TTS) 模型，它是迄今为止最大的 TTS 模型，以 100K 小时的公共领域语音数据进行训练，在语音自然度方面取得了最新的最佳效果。
PDF5 months ago
零封装的基于流匹配的文本转语音使你尽情大笑
提出了基于短音频提示的 ELaTE 零样本文本到语音模型，能够以精确的笑声控制时间和表达来生成任何说话者的自然笑声，比传统模型具有更高质量和可控性。
PDF5 months ago
基于数据驱动的字素到音素表示的无词典文本转语音
通过使用自监督学习的最新进展，本文消除了使用固定表示而非数据驱动的方法生成专家词典的问题，将其应用于无词典的文本转语音系统中，与基于专家词典的方法相比，在没有语言专业知识的前提下达到甚至略优的声音质量。
PDF5 months ago
前端文本处理中的多任务学习在 TTS 中的应用
我们提出了一个多任务学习（MTL）模型，用于共同完成文本转语音（TTS）前端中常见的三个任务：文本规范化（TN），词性标注（POS）和同音异义词消歧（HD）。我们的框架利用了树状结构，其中包含一个主干，用于学习共享表示，以及分别的任务特定头
PDF6 months ago
基于语义标记预测的两阶段文本到语音的神经转换器
我们提出了一种以神经推导器为中心的新型文本转语音（TTS）框架，将整个 TTS 流程分为语义级序列到序列建模和细粒度声学建模阶段，并利用从 wav2vec2.0 嵌入中获取的离散语义标记。我们采用了一种名为令牌推导器的神经推导器，用于语义标
PDF6 months ago
大型语言模型在语音合成中的提升：一项实证研究
本文综合实证研究了如何增强大型语言模型（LLMs）的语音合成能力，比较了三种 LLMs 和语音合成模型（VALL-E）的集成方法，结果显示利用 LLMs 作为文本编码器的耦合方法取得了最佳性能，比原始语音合成模型在讲话者相似度和词错误率（W
PDF6 months ago
AE-Flow：自动编码器归一化流
我们引入一种新的训练范式：自编码器归一化流（AE-Flow），它通过添加重构损失，使模型使用条件信息重构音频样本，结果表明该方法在正常化流的训练中系统地提高了说话者相似性和自然度。
PDF6 months ago