speech language models | BriefGPT

关键词speech language models

搜索结果 - 7

DeSTA: 通过描述性语音文本对齐提升语音语言模型
通过 Descriptive Speech-Text Alignment 方法，本研究提出了一种新型的语音语言模型，可以解释和生成全面的自然语言描述，从而促进对语音的语言和非语言特征的理解，并在 Dynamic-SUPERB 基准测试中展现
PDF5 days ago
ACL具高效的分层变换器的生成式预训练语音语言模型
我们介绍了一种用于有效语音语言建模的层次变压器的生成预训练语音变压器 (GPST)，它将音频波形量化为两种不同类型的离散语音表示，并在层次变压器架构中进行集成，从而实现统一的单阶段生成过程并增强 Hi-Res 音频生成能力。通过以端到端无监
PDFa month ago
SpeechAlign：将语音生成与人类偏好对齐
通过分析编解码语言模型中的分布差距，并利用来自人类反馈的学习，本研究提出了 SpeechAlign 策略，通过构建偏好编解码数据集并进行优化，实现了语音语言模型的持续自我改进，解决了编解码语言模型的分布差距问题。
PDF3 months ago
语音语言模型的规模特性
本文使用语言模型的扩展性行为来估计目前方法在训练中使用的计算规模下，会产生具有类似基于文本的大型语言模型的英语熟练度的语音语言模型。我们展示了语言模型和大型语言模型的预训练损失与下游句法和语义性能之间存在强相关性，从而导致语言性能的可预测扩
PDF3 months ago
关于基于提示条件的语音合成的语言模型的实证研究
研究报告通过对自动回归 (AR) 和非自动回归 (NAR) 语音语言模型的实证研究，为提示设计和内容语义单元提供了深入洞察。分析表明，异构和非平稳的提示对音频质量有害，与之前发现提醒较长始终会产生更好的合成的结论形成对比。此外，我们发现除了
PDF3 months ago
SpeechTokenizer: 面向大型语音模型的统一语音分词器
通过对语音令牌进行编码解码架构的统一建模和分层信息表征，提出了 SpeechTokenizer，用于语音大型语言模型的训练，其在语音重构和零样本语音合成任务中表现出色，相较于传统的语义和声学令牌在建模效果上有显著优势。
PDF10 months ago
StyleTTS 2：通过样式扩散和大型语音语言模型的对抗训练实现人类水平的文本朗读
本文提出了 StyleTTS2，它是一个使用了样式扩散和对抗训练技术以及大型语音语言模型的文本转语音模型，它能够有效地进行潜在扩散，实现单个和多个说话人的人类级 TTS 合成。
PDFa year ago