Aug, 2023

一石二鸟：音频字幕系统是否也可用于音频文本检索？

PDF
TL;DR通过探索未经微调的 AAC 系统，该研究调查了 AAC 和 ATR 之间的关系，发现使用标准的 Cross-Entropy 损失值可以实现良好的 ATR 性能。
automated audio captioningaudio-text retrievalsequence-to-sequence modelranking modelcross-entropy loss
发现论文，激发创造
  • 基于对比学习的自动音频字幕交互式音频文本表示

    本文介绍了一种名为 CLIP-AAC 的自动音频字幕系统，该系统结合声学和文本信息学习交互式跨模态表示，并应用对比学习来缩小领域差异，实验结果表明该方法在 NLP 评估标准上显著优于基线方法，表明预训练模型和对比学习对该模型的性能提升贡献都非常重要。

    Mar, 2022

  • 使用 WavText5K 和 CLAP 训练进行音频检索

    本文提出了一个新的 Web 音频文本检索框架，使用文本编码器、两个音频编码器和对比学习目标来实现语言和音频内容间的连接，包括多个数据集的使用，取得了相对于 AudioCaps 和 Clotho 在文本 - 音频检索上 2％和 16％的提高，对于音频 - 文本检索上的 6％和 23％的提高。

    Sep, 2022

  • 联合语音识别和音频字幕

    为了更好地解释语音样本中的背景噪声，并对内容进行全面理解，我们提出了多种方法来实现自动语音识别和自动音频字幕的端对端联合建模，并使用混合干净语音和多种背景噪声的多任务数据集进行实验验证。

    Feb, 2022

  • 基于文本 - only 训练实现的弱监督自动音频字幕生成

    近年来，通过对成对音频和字幕进行数据集的研究，自动生成音频剪辑的描述取得了显著的成功，即自动音频字幕生成（AAC）。然而，收集足够数量的配对音频和字幕的工作需要大量人力和时间。受到对比语言音频预训练（CLAP）最新进展的启发，我们提出了一种弱监督方法来训练 AAC 模型，只需要文本数据和经过预训练的 CLAP 模型，从而减轻了对配对目标数据的需求。我们的方法利用 CLAP 中音频和文本嵌入之间的相似性。在训练过程中，我们学习从 CLAP 文本嵌入中重构文本，在推断过程中，我们使用音频嵌入进行解码。为了减小音频和文本嵌入之间的模态差距，我们采用了在训练和推断阶段桥接差距的策略。我们在 Clotho 和 AudioCaps 数据集上评估了我们提出的方法，证明其相对于使用配对目标数据训练的完全监督方法可达到高达 83% 的性能水平。

    Sep, 2023

  • 基于文本到语音的语音字幕相似度评估新指标

    本研究提出了一种基于文本到音频匹配（TAG）的新型度量标准，用于评估自然语言文本生成与音频事件描述任务，实验证明该标准在 NL 文本和图像字幕文献中的表现较现有指标更好。

    Oct, 2022

  • RECAP：检索增强音频字幕

    RECAP 是一种新颖有效的音频字幕系统，通过从数据存储中检索与输入音频类似的其他字幕来生成字幕，并且无需额外的微调即可适用于任何领域。

    Sep, 2023

  • 利用 PaSST 和大量音频标题数据集推进基于自然语言的音频检索

    该研究针对预先训练的文本和频谱图变换器，提出了一种基于文本的音频检索系统。系统的两个关键组件是基于自注意力机制的音频编码器和在预训练期间利用附加的人工生成和合成数据集。该系统在 2023 年的 DCASE 挑战中排名第一，在 ClothoV2 基准测试中的表现优于当前的最新技术，提高了 5.6 个百分点的 mAP@10。

    Aug, 2023

  • 通过优化音频编码增强基于大型语言模型的自动音频字幕生成

    增强自动音频字幕生成的方法通过预训练音频编码器、查询变换器和大语言模型，改善了音频标记的准确性和结果性能。

    Jun, 2024

  • 自动音频字幕和基于语言的音频检索

    参加了 DCASE 2022 比赛的两个子任务：自动音频字幕和基于语言的音频检索。在 Clotho 数据集上评估使用多种评估指标的基线模型和一些实验，分别对音频字幕和语音检索任务的最终表现进行了改进。

    Jul, 2022

  • 自动纠错提高音频字幕流畅度

    提出了一种基于神经网络的模型进行 AAC 错误修正的方法，并在两个基准数据集上进行了测试，结果表明该方法显着提高了流畅性同时维持了语义信息。

    Jun, 2023