text-to-audio generation | BriefGPT

关键词text-to-audio generation

搜索结果 - 10

ICML通过合成器编程实现创造性的文本 - 音频生成
我们提出了一种文本到音频生成方法（CTAG），该方法利用具有仅有 78 个参数的虚拟模块化声音合成器，通过迭代更新合成器的参数，生成易于检查和调整的高质量音频渲染，其中产生的声音更抽象，捕捉了基本概念特征而非细粒度声学细节，类似于简单的素描
PDFa month ago
视频同步的文本到语音生成
近期，研究人员在文本转语音生成方面的关注度不断增加，本研究提出了一个名为 T2AV-Bench 的创新基准和一个简单而有效的视频对齐文本到音频生成模型 T2AV，通过整合视觉对齐的文本嵌入到生成模型中，通过时间多头注意力转换器从视频数据中提
PDF4 months ago
使用单一非自回归变换器生成掩盖音频
我们介绍了 MAGNeT，一种遮蔽生成序列建模方法，直接操作多个音频令牌流。MAGNeT 由一个单阶段的非自回归变换器组成，在训练过程中，我们预测来自掩码调度器的遮蔽令牌跨度，而在推断过程中，我们逐步构建输出序列使用多个解码步骤。为了进一步
PDF6 months ago
关于有条件音频生成中的开放提示挑战
通过使用指令调整模型改写提示文本并利用文本音频对齐作为反馈信号，通过边界排序学习从而改善音频的质量和文本音频的对齐，从客观和主观的人类评估中观察到了明显的改善。
PDF8 months ago
条件音频生成中的上下文提示编辑
在机器学习模型的部署过程中，分布偏移是一个主要的挑战，特别是在文本到音频生成领域。为了解决用户提示信息过于模糊导致生成音频质量下降的问题，本文提出了一个基于检索的上下文提示编辑框架，利用训练标题作为示范样本重新审视用户提示，进而增强了收集到
PDF8 months ago
用一致性蒸馏加速基于扩散的文本到音频生成
这项研究修改最近提出的一致性蒸馏框架，用于训练只需要单个神经网络查询的 TTA 模型，同时通过在音频空间中使用新的损失函数（如 CLAP 得分）对一致性 TTA 模型进行微调，从而在保留扩散模型高生成质量和多样性的同时，将查询次数减少了 4
PDF9 months ago
检索辅助文本转语音生成
我们提出了一种用于文本到音频生成的简单的检索增强方法，通过使用检索到的音频文本数据对 TTA 模型的学习进行指导，从而改善了 AudioLDM 模型在长尾数据集上的性能，在 AudioCaps 数据集上，我们的改进模型 Re-AudioLD
PDF10 months ago
DiffAVA: 带视觉对齐的个性化文本到音频生成
该文章提出了一种基于视觉对齐的新型个性化文本转语音生成方法 ——DiffAVA，它使用多头注意力变换器聚合视觉特征的时间信息，并利用双模残差网络将时间视觉表示与文本嵌入进行融合，然后采用对比学习目标来匹配视觉对齐的文本嵌入和音频特征。研究结
PDFa year ago
使用指令调整的 LLM 和潜在扩散模型生成文本到语音
本研究采用基于指令调整的大型语言模型 Flan-T5 作为文本编码器，通过使用基于声音压力级的声音混合来进行训练集增强，从而取得了比 AudioLDM 更好的结果，成为了生成文字描述音频的任务中的最佳选择。
PDFa year ago
利用预训练的 AudioLDM 实现文本到语音生成：基准研究
本文探讨了使用预先训练的 AudioLDM 模型作为声音生成的 “骨架” 在小数据量场景下实现优异表现的优势，并且比较了不同训练策略对模型性能的影响。同时，为了促进未来的研究，我们还在几个常用数据集上评估了各种文本生成语音系统，以允许公平比
PDFa year ago