text-to-speech systems | BriefGPT

关键词text-to-speech systems

搜索结果 - 20

基于学习单调对齐来提高 LLM 语音合成的鲁棒性
基于大型语言模型（LLM）的文本到语音（TTS）系统在处理大规模语音数据集和为新说话者生成自然语音方面表现出了显著的能力，但是基于 LLM 的 TTS 模型并不稳健，因为生成的输出可能包含重复的词、缺失的词和错位的语音（即幻觉或注意力错误）
PDF7 days ago
语音语言模型的指导数据生成和无监督适应
我们提出了三种方法来生成合成样本，以训练和评估能够处理文本和语音输入的多模态大语言模型。通过解决包含多种模态的样本的稀缺性问题，合成数据生成成为提高这些系统性能并促进语音和文本领域的跨模态关系建模的关键策略。我们使用大型语言模型生成文本组件
PDF14 days ago
DiTTo-TTS：高效可扩展的零样本文本到语音系统基于扩散 Transformer
利用大规模扩散模型做无领域特定建模的语音合成，通过跨注意机制和对语音表示总长度的预测来解决文本 - 语音对齐的问题，在语音的潜在空间中结合语义引导进行提升。该模型在 82K 小时的训练数据和 790M 参数的模型规模上进行了训练，实验证明它
PDF15 days ago
面向并行 TTS 前端建模的先验不可知多尺度对比文本 - 音频预训练
在本文中，我们提出了一种名为 TAP-FM 的新型 TTS 前端预测流水线，它包括 Multi-scale Contrastive Text-audio Pre-training（MC-TAP）协议和并行化的 TTS 前端模型，通过在无监督
PDF3 months ago
Llama-VITS: 基于语义意识的 TTS 合成增强
最近的自然语言处理（NLP）的进展中，大型语言模型（LLMs）在多个应用方面展现出了出色的高质量文本生成能力。本研究引入了一种创新的方法 Llama-VITS，在文本的语义内容方面通过 LLM 来增强 TTS 综合效果。借助 Llama2
PDF3 months ago
通过自监督表示混合和嵌入初始化最大化跨语言 TTS 适应的数据效率
本文介绍了一种有效的迁移学习框架，用于在文本转语音系统中进行语言适应，重点是通过使用尽可能少的标记和未标记数据实现语言适应。实验结果表明，我们的框架能够仅使用 4 个标记数据和 15 分钟未标记数据合成未知语言的可懂语音，还能在可获得更多数
PDF5 months ago
使用非平行数据将从 TTS 中转移的语言表示进行口音转换
该研究提出了一种新颖的非自回归框架用于口音转换，通过学习口音无关的语言表示并使用它们来转换源语音中的口音，从而保留说话者的身份。研究还调查了在我们提出的框架中的本地数据和不同声学特征的预训练策略的有效性，并使用主客观度量来全面评估了我们方法
PDF6 months ago
ACL使用合成数据和迁移学习在低资源文本转语音系统中进行快速说话者适应
使用端到端深度学习方法构建的文本到语音系统，通过高资源语言数据和合成数据进行迁移学习，利用目标语言中的现有单语者文本到语音系统生成领域内合成数据，实现在低资源环境下训练高质量的单语者文本到语音系统，证明了双重预训练和仅解码器微调的重要性，并
PDF7 months ago
关于合成训练数据中音素持续时间变异性对自动语音识别的相关性
通过生成的合成数据以及时长建模来改进低资源环境或领域不匹配任务中的自动语音识别系统，并使用半监督方法在改进中合成数据的语音识别系统中取得了改进。
PDF9 months ago
DiffProsody: 基于扩散的潜在韵律生成，用于具有韵律条件对抗训练的表情化语音合成
通过使用基于扩散的潜在韵律生成器和韵律条件对抗训练的新方法 DiffProsody，本研究证实了其在生成韵律向量方面的有效性，并且韵律条件鉴别器通过准确模拟韵律极大提高了生成语音的质量。使用去噪扩散生成对抗网络提高了韵律生成的速度，因此 D
PDFa year ago
ContextSpeech：适用于段落阅读的表现力强、有效率的文本转语音技术
该论文提出了一种轻量级而有效的 TTS 系统 ContextSpeech，采用记忆缓存的复现机制和分层结构的文本语义，以及线性化的自注意力机制来增强全局文本和语音语境，并在长篇阅读中显着提高了语音质量和语调表现力。
PDFa year ago
利用多个 TTS 目标提升语音翻译
通过分析不同合成目标语音对直接语音翻译模型的影响，本文提出了一个多任务框架，通过同时优化不同 TTS 系统的多个目标来提高 S2ST 表现，在 Fisher 西班牙语 - 英语数据集上实现了 2.8 BLEU 的一致改善效果。
PDFa year ago
利用自监督表示的鹦鹉 TTS：文本转语音合成
提出一种名为 ParrotTTS 的文本转语音建模的替代方法，该方法基于自监督学习方法。ParrotTTS 采用两步方法，在无标签数据上训练语音到语音模型，然后使用文本到嵌入模型将其扩展到 TTS。该方法在自然度方面取得了有竞争力的平均意见
PDFa year ago
EMNLP面向语音的关系抽取
本文提出了一个新的听取信息提取任务，即语音关系提取，通过文本到语音系统构建训练数据集，并通过众包和本土英语演讲者构建测试数据集，探索语音关系提取的两种方法：通过预训练的 ASR 模块进行基于文本的提取的流水线方法和通过新的提出的编码器解码器
PDF2 years ago
TTS 增强通过旋转语言何时有用？
研究聚焦在如何利用高资源语言的已训练 TTS 系统，使其产生的合成语音能提高低资源语言的 ASR 性能。结果表明，使用数千个 TTS 合成文本 - 语音对并通过平衡真实数据可得到最佳结果，但过高的 TTS 质量可能会影响 ASR 性能。在瓜
PDF2 years ago
MMLIP: 有意义的文本到语音轻量级智能预处理器
本文介绍了一种轻量级的智能预处理器 LIP，旨在解决现有 TTS 系统无法识别标点符号和表情符号等消息中的信息，提出多个子模块，包括展开缩写、审查脏话、掩盖 PII 等，以提高文本的可读性。通过一项独立的调查，结果表明，相比标准 TTS，启
PDF2 years ago
构建非洲之声
本研究聚焦于低资源非洲语言语音合成，着重于从语料库创作到 TTS 系统的共享和部署，通过参与式方法建立新的数据集和数据挖掘，发现即使在次优环境下录制 25 分钟的语音也能生成可听懂的语音，并为 12 种非洲语言提供了语音数据、代码和训练好的
PDF2 years ago
MOS 预测系统中语音表示的比较
本研究比较了自监督学习特征和谱特征的性能，并结合了两者以提高自动 MOS 的准确性。使用大规模听力测试语料库，发现 wav2vec 特征具有最佳的泛化能力，且结合特征组合表现最佳。
PDF2 years ago
应用特征未指定的词典音韵特征于多语言文本转语音
本文研究利用 Featurally Underspecified Lexicon 模型中的音位特征在英文和中文的文本转语音系统中生成本地和非本地语音，通过两个实验，证明音位特征可以用于语言不在训练数据中的输入系统，且可成功生成符合语音语调的
PDF2 years ago
基于神经源 - 滤波器的波形模型用于统计参数语音合成
该研究提出了一种非自回归神经源滤波波形模型，它可以直接使用基于光谱的训练准则和随机梯度下降方法进行训练，并生成至少比 AR WaveNet 快 100 倍的波形，生成的合成语音质量与 AR WaveNet 的语音生成质量接近，其中正弦波激励
PDF6 years ago