semantic tokens | BriefGPT - AI 论文速递

关键词semantic tokens

搜索结果 - 8

DASB -- 离散音频和语音基准
通过发布离散音频和语音基准 (DASB)，我们研究了离散音频标记符在各种任务中的性能表现，并发现语义标记比压缩标记在大多数任务中表现更好，但语义标记和标准连续表示之间的性能差距仍然存在。
PDF12 days ago
如何从自监督模型中提取离散音频标记？
这篇论文探讨了语义标记的最佳配置，提出了训练通用声码器的可扩展解决方案，并使用注意机制来提高语义标记在多种音频应用中的适应性和性能。
PDF17 days ago
语义解码时代
通过引入语义解码的概念，将 LMMs、语义令牌、语义处理器和优化过程联系起来，从而在意义空间中进行搜索和优化，提供了一种直接在有意义的概念空间中进行搜索和优化的强大抽象。
PDF3 months ago
零样本音频情感转换与说话人解缠
这篇文章介绍了一种高效的零射击情感风格转换的方法，通过分解语音为语义令牌、说话者表示和情感嵌入，并训练一个解码器来重构语音信号，实现将源语音中的情感内容与目标语音嵌入相结合，同时保留源语音中的说话者和语音内容。
PDF6 months ago
强大的视觉表达学习者：重塑 Image-GPT
本文介绍了 D-iGPT，这是对 image-GPT 进行改进的一种方法，通过将预测目标从原始像素转移到语义标记上，实现对视觉内容的更高级理解，并通过预测可见标记来补充自回归建模，实现了更好的效果。实验证明，D-iGPT 在 ImageNe
PDF7 months ago
RepCodec: 一种用于语音分词的语音表示编码器
通过学习语音编码器、编解码器和向量量化码本，RepCodec 通过语义语音标记化将语音波形转换为语义标记，从而显著提升语音理解和生成的性能。
PDF10 months ago
高效神经音乐生成
介绍了 MeLoDy，一种基于 LM 引导扩散模型，可以高效地生成音乐音频，并同时减少音乐 LM 中 95.7% 或 99.6% 的前向处理，实现了可持续且具有良好音质和文本相关性的音乐生成。
PDFa year ago
SoundStorm: 高效并行音频生成
SoundStorm is a non-autoregressive audio generation model that uses semantic tokens and bidirectional attention to effic
PDFa year ago