automated audio captioning | BriefGPT

关键词automated audio captioning

搜索结果 - 17

通过优化音频编码增强基于大型语言模型的自动音频字幕生成
增强自动音频字幕生成的方法通过预训练音频编码器、查询变换器和大语言模型，改善了音频标记的准确性和结果性能。
PDF17 days ago
EnCLAP：基于神经音频编解码器和音频文本联合嵌入的自动音频字幕生成
我们提出了一种自动音频字幕的新框架 EnCLAP，使用了两个声学表示模型 EnCodec 和 CLAP 以及一个预训练语言模型 BART。我们还引入了一种称为 masked codec modeling 的新训练目标，提高了预训练语言模型的
PDF5 months ago
基于文本 - only 训练实现的弱监督自动音频字幕生成
近年来，通过对成对音频和字幕进行数据集的研究，自动生成音频剪辑的描述取得了显著的成功，即自动音频字幕生成（AAC）。然而，收集足够数量的配对音频和字幕的工作需要大量人力和时间。受到对比语言音频预训练（CLAP）最新进展的启发，我们提出了一种
PDF10 months ago
使用音频和文本共享的潜在表示进行高效音频字幕生成
通过提出预训练的 Transformer 架构、数据增强技术和参数高效的推理算法，研究针对自动音频字幕生成应用中存在的过度参数化、虚构现象和大内存占用的问题，通过语义对齐和类似度计算等方法，提升性能并减少模型复杂度。
PDF10 months ago
一石二鸟：音频字幕系统是否也可用于音频文本检索？
通过探索未经微调的 AAC 系统，该研究调查了 AAC 和 ATR 之间的关系，发现使用标准的 Cross-Entropy 损失值可以实现良好的 ATR 性能。
PDF10 months ago
MM自动纠错提高音频字幕流畅度
提出了一种基于神经网络的模型进行 AAC 错误修正的方法，并在两个基准数据集上进行了测试，结果表明该方法显着提高了流畅性同时维持了语义信息。
PDFa year ago
带 Patchout 和文本引导的高效音频字幕 Transformer
本文提出了一种基于全 Transformer 架构的自动音频字幕生成方法，包含 Patchout、细化预训练分类模型和迁移学习、Mixup 数据增强等技术来提高音频字幕的性能和减少计算复杂度，研究结果在 DCASE Challenge 20
PDFa year ago
WavCaps: 基于 ChatGPT 辅助的弱标注音频字幕数据集，用于音频 - 语言多模态研究
本文介绍了 WavCaps 音频字幕数据集的构建方法，结合 ChatGPT 模型处理嘈杂的原始描述，最终得到了一个高质量的数据集。该数据集应用在多个音频 - 语言多模态学习任务中，取得了较大的进展。
PDFa year ago
自动音频字幕和基于语言的音频检索
参加了 DCASE 2022 比赛的两个子任务：自动音频字幕和基于语言的音频检索。在 Clotho 数据集上评估使用多种评估指标的基线模型和一些实验，分别对音频字幕和语音检索任务的最终表现进行了改进。
PDF2 years ago
利用时代性困难字幕进行课程学习的自动语音字幕化
本文提出了一种算法 Epochal Difficult Captions，通过使用课程表和难度水平来修改目标标题，更好地辅助自动音频字幕任务中任何模型的训练，我们在三个系统上测试并表明使用 Epochal Difficult Caption
PDF2 years ago
自动音频字幕生成：近期进展与新挑战概述
本文综述了自动音频字幕生成领域内的研究现状，包括使用的深度学习技术、网络架构、评估指标和挑战，同时讨论了未来的研究方向。
PDF2 years ago
基于对比学习的自动音频字幕交互式音频文本表示
本文介绍了一种名为 CLIP-AAC 的自动音频字幕系统，该系统结合声学和文本信息学习交互式跨模态表示，并应用对比学习来缩小领域差异，实验结果表明该方法在 NLP 评估标准上显著优于基线方法，表明预训练模型和对比学习对该模型的性能提升贡献都
PDF2 years ago
联合语音识别和音频字幕
为了更好地解释语音样本中的背景噪声，并对内容进行全面理解，我们提出了多种方法来实现自动语音识别和自动音频字幕的端对端联合建模，并使用混合干净语音和多种背景噪声的多任务数据集进行实验验证。
PDF2 years ago
通过融合声学和语义信息来提高自动音频字幕生成的性能
本文提出了一种基于语义和音频信息相结合的自动音频字幕生成模型，使用预训练的 ResNet38 来初始化预训练关键字编码器，并使用 LSTM 解码器和语义和音频注意力模块来进行多模态注意力解码，实验证明该模型在 Clotho 数据集上达到了最
PDF3 years ago
一种基于编码器 - 解码器的音频字幕系统，具有迁移学习和强化学习
本文提出一种使用编码器 - 解码器架构的音频标题系统，并引入自上游音频相关任务或大规模领域内数据集的转移学习来缓解数据稀缺性带来的问题。通过强化学习将评估指标纳入模型优化中，可以解决由 “教师强制” 训练策略引起的 “曝光偏差” 和评估指标
PDF3 years ago
基于词频的音频字幕处理的前后效果研究
该研究使用数据扩充、多任务学习和后处理等三个元素进行语音标题，分析了每个元素的贡献，并发现数据扩充和后处理模块显著提高了系统表现。
PDF4 years ago
NTT DCASE2020 Challenge Task 6 系统：使用关键字和句子长度估计的自动音频字幕
该报告介绍参加 DCASE 2020 挑战 Task 6 的系统，侧重于使用多任务学习解决自动音频字幕生成中的不确定性问题，并通过在开发测试数据集上测试简化模型，实现了 20.7 的 SPIDEr 得分，远高于基线系统的 5.4。
PDF4 years ago