Jul, 2020

NTT DCASE2020 Challenge Task 6 系统：使用关键字和句子长度估计的自动音频字幕

PDF
TL;DR该报告介绍参加 DCASE 2020 挑战 Task 6 的系统，侧重于使用多任务学习解决自动音频字幕生成中的不确定性问题，并通过在开发测试数据集上测试简化模型，实现了 20.7 的 SPIDEr 得分，远高于基线系统的 5.4。
发现论文，激发创造
  • 自动音频字幕和基于语言的音频检索

    参加了 DCASE 2022 比赛的两个子任务：自动音频字幕和基于语言的音频检索。在 Clotho 数据集上评估使用多种评估指标的基线模型和一些实验，分别对音频字幕和语音检索任务的最终表现进行了改进。

    Jul, 2022

  • 自动音频字幕生成：近期进展与新挑战概述

    本文综述了自动音频字幕生成领域内的研究现状，包括使用的深度学习技术、网络架构、评估指标和挑战，同时讨论了未来的研究方向。

    May, 2022

  • 利用 PaSST 和大量音频标题数据集推进基于自然语言的音频检索

    该研究针对预先训练的文本和频谱图变换器，提出了一种基于文本的音频检索系统。系统的两个关键组件是基于自注意力机制的音频编码器和在预训练期间利用附加的人工生成和合成数据集。该系统在 2023 年的 DCASE 挑战中排名第一，在 ClothoV2 基准测试中的表现优于当前的最新技术，提高了 5.6 个百分点的 mAP@10。

    Aug, 2023

  • 基于大型语言模型的字幕增强技术提升的语言查询音频源分离性能：DCASE Challenge 2024 任务 9

    我们提出了一种基于提示工程的文本增强方法，应用于语言查询音频源分离（LASS）任务。该方法利用大型语言模型生成与训练数据集每个句子对应的多个字幕来增强 LASS 的性能。实验结果表明，使用这些增强的字幕训练的 LASS 模型在 DCASE 2024 任务 9 验证集上表现出了比没有增强的模型更好的性能。该研究突出了基于语言模型的字幕增强在推动语言查询音频源分离方面的有效性。

    Jun, 2024

  • DCASE 挑战赛 2016 上的实验：现实录音中的声音场景分类和声音事件检测

    本文介绍了我们在实战录音的声音场景分类任务和声音事件检测任务中采用的低级和高级特征、分类器优化以及特定的其他方法，我们的表现优于 DCASE 的基线，对于任务 1，我们的总体准确性为 78.9％，超过基线 72.6％；对于任务 3，我们的基于段的错误率为 0.76，超过基线 0.91。

    Jul, 2016

  • 一种基于编码器 - 解码器的音频字幕系统，具有迁移学习和强化学习

    本文提出一种使用编码器 - 解码器架构的音频标题系统，并引入自上游音频相关任务或大规模领域内数据集的转移学习来缓解数据稀缺性带来的问题。通过强化学习将评估指标纳入模型优化中，可以解决由 “教师强制” 训练策略引起的 “曝光偏差” 和评估指标与损失函数之间的不匹配问题。这种方法在 DCASE 2021 Task 6 中排名第三，并进行了消融研究来研究所提出系统中的每个要素对最终性能的贡献。结果表明，提出的技术显着提高了评估指标的得分，但强化学习可能对生成的标题质量产生不利影响。

    Aug, 2021

  • 2020 VATEX 视频字幕挑战赛 NITS-VC 系统

    本文介绍了用于视频字幕挑战的框架，采用编码器 - 解码器的方法，其中使用 3D 卷积神经网络对视频进行编码，并使用两个 LSTM 递归网络进行解码，最终输出是两个 LSTM 的输出元素乘积，而此模型可以在公共和私人测试数据集上实现 BLEU 得分分别为 0.20 和 0.22。

    Jun, 2020

  • 基于词频的音频字幕处理的前后效果研究

    该研究使用数据扩充、多任务学习和后处理等三个元素进行语音标题，分析了每个元素的贡献，并发现数据扩充和后处理模块显著提高了系统表现。

    Sep, 2020

  • 在零样本音频字幕中使用音频 - 语言模型引导和音频上下文关键词

    ZerAuCap 是一个新的框架，利用预训练的大型语言模型来生成既不需要任务特定训练，又能描述音频内容的文本标注，通过预先训练的音频 - 语言模型指导语言模型生成内容与音频相关的文本，使用音频上下文关键词来生成广义的文本，在 AudioCaps 和 Clotho 数据集中实现了最先进的结果。

    Nov, 2023

  • 通过融合声学和语义信息来提高自动音频字幕生成的性能

    本文提出了一种基于语义和音频信息相结合的自动音频字幕生成模型，使用预训练的 ResNet38 来初始化预训练关键字编码器，并使用 LSTM 解码器和语义和音频注意力模块来进行多模态注意力解码，实验证明该模型在 Clotho 数据集上达到了最先进的性能。

    Oct, 2021