audio captioning | BriefGPT

关键词audio captioning

搜索结果 - 13

数据与转换器在音频生成中的驯化
我们提出了两种新模型 AutoCap 和 GenAu 来解决由于数据稀缺和标题质量不足造成的环境声音和效果生成问题，AutoCap 利用音频的元数据显著提高了标题的质量，而 GenAu 则通过使用新数据集进行训练，在生成的音频质量上取得了显
PDF5 days ago
用合成标题改进文本到音频模型
通过语音标注管道，使用音频语言模型合成准确且多样的音频标注，提供了合成标注数据集以及训练基于合成标注的文本转音频模型，取得了新的最先进的结果。
PDF14 days ago
RECAP：检索增强音频字幕
RECAP 是一种新颖有效的音频字幕系统，通过从数据存储中检索与输入音频类似的其他字幕来生成字幕，并且无需额外的微调即可适用于任何领域。
PDF9 months ago
音频差异学习用于音频字幕
该研究介绍了一种新颖的训练范式，音频差异学习，用于改进音频字幕生成。该方法通过创建一个保留音频关系的特征表示空间，能够生成详细描绘复杂音频信息的字幕。实验证明，该方法在 Clotho 和 ESC50 数据集上，相较传统方法，SPIDEr 分
PDF10 months ago
通过听觉引导的零射频音频字幕生成
音频字幕任务与图像和视频字幕任务在本质上相似，但鲜有关注。我们提出了音频字幕的三个愿景：生成文本的流畅性，生成文本对输入音频的忠实度以及听觉可感知性。我们的方法是零样本方法，不通过学习而是通过推理过程来进行字幕生成，其中涉及的三个网络对应三
PDF10 months ago
ICCV从野外声音生成逼真图像
通过音频字幕、音频注意力和扩散模型，本文提出了一种从野外音频生成高质量图像的新方法，并在野外音频数据集的定量和定性评估中优于基线模型。
PDF10 months ago
使用合成字幕和迁移学习训练的音频字幕的 Whisper 变形器
本技术报告介绍了我们在音频字幕领域的研究，重点关注了预训练语音转文字的 Whisper 模型和合成字幕的预训练使用。我们探讨了我们的训练过程，并呈现了我们实验的结果，包括模型大小变化、数据集混合和其他超参数。我们的发现证明了不同训练策略对音
PDFa year ago
使用 MixGen 和多级测试时间增强提高音频语言学习
本文提出了两种新的数据增强方法：1）“音频 - 语言合成增强”（AL-MixGen）和 2）“多层测试时间增强”（Multi-TTA）用于音频和语言的学习；其中 Multi-TTA 可以将测试时间增强一般化到深度学习模型的多个层面。将这些方
PDF2 years ago
具有自适应视听关注的视觉感知音频字幕
本文提出了一种基于视觉感知的音频字幕生成方法，将来自视频的视觉信息整合到音频字幕系统中，采用音视频关注机制自适应地整合音频和视觉信息，显著提高了音频字幕系统的性能。
PDF2 years ago
音频字幕的标题特征空间规则化
本文提出了一种两阶段的语音字幕框架，旨在解决多个字幕与同一段语音的相关性问题。第一阶段采用对比学习构建代理特征空间以减少字幕之间的距离。第二阶段利用代理特征空间作为额外监督以鼓励模型优化方向。经过实验验证，这种方法是有效的，并且在 4 种编
PDF2 years ago
利用预训练 BERT 进行音频字幕生成
本研究利用预训练语言模型 BERT 作为音频字幕解码器，结合预训练的音频模型 PANNs 作为编码器，实现了在 AudioCaps 数据集上与现有音频字幕方法具有竞争力的结果。
PDF2 years ago
音频字幕转换器
该论文提出了一种全转换器的音频字幕生成器，该生成器能更好地模拟音频信号中的全局信息以及音频事件之间的时间关系，并且在最大的音频字幕数据集上显示出与其他最先进方法相竞争的性能。
PDF3 years ago
Clotho: 一个音频字幕数据集
本文介绍了 Clotho 数据集和基准方法，Clotho 是一个用于音频字幕生成的数据集，拥有 4981 个音频样本和 24 905 个字幕，所有音频来自 Freesound 平台，字幕通过 Amazon Mechanical Turk 和
PDF5 years ago