Jan, 2024

CLAPP: 在被动水下船舰分类中的对比式语音 - 语言预训练

PDF
TL;DR在这项研究中，我们介绍了一种名为 CLAPP（Contrastive Language-Audio Pre-training in Passive Underwater Vessel Classification）的新模型，旨在通过使用从一个海洋数据集中获取的广泛的船舶音频和船舶状态文本对来训练神经网络，从而改善对被动水下船舶情景中船舶属性的识别。该模型具有零样本能力，使其能够根据给定的船舶音频预测最相关的船舶状态描述，而无需直接针对该任务进行优化。我们的方法旨在解决船舶音频文本分类和被动水下船舶音频属性识别这两个挑战。所提出的方法在 Deepship 和 Shipsear 公共数据集上取得了新的最先进结果，在零样本任务的准确性上相对于先前方法提升了约 7%-13% 的显著优势。
audio classificationpassive underwater vesselclappneural networkzero-shot capability
发现论文，激发创造
  • CLAP：从自然语言监督中学习音频概念

    提出一种基于自然语言监督学习的音频概念学习方法 CLAP，通过两个编码器和对比学习将音频和文本描述连接到多模态空间中，从而实现了零样本性能，其具有无需使用类别标签进行训练、预测灵活度高、具有多个下游任务通用性等优点。

    Jun, 2022

  • tinyCLAP：压缩对比式语音 - 文本预训练模型

    研究通过减少数据和计算复杂性来降低对比性语言音频预训练模型的复杂性，得到一个高效模型 ——tinyCLAP，该模型仅使用原 Microsoft CLAP 参数的 6％，在测试的三个声音事件检测数据集上，零样本分类性能仅降低不到 5％。

    Nov, 2023

  • 基于文本 - only 训练实现的弱监督自动音频字幕生成

    近年来，通过对成对音频和字幕进行数据集的研究，自动生成音频剪辑的描述取得了显著的成功，即自动音频字幕生成（AAC）。然而，收集足够数量的配对音频和字幕的工作需要大量人力和时间。受到对比语言音频预训练（CLAP）最新进展的启发，我们提出了一种弱监督方法来训练 AAC 模型，只需要文本数据和经过预训练的 CLAP 模型，从而减轻了对配对目标数据的需求。我们的方法利用 CLAP 中音频和文本嵌入之间的相似性。在训练过程中，我们学习从 CLAP 文本嵌入中重构文本，在推断过程中，我们使用音频嵌入进行解码。为了减小音频和文本嵌入之间的模态差距，我们采用了在训练和推断阶段桥接差距的策略。我们在 Clotho 和 AudioCaps 数据集上评估了我们提出的方法，证明其相对于使用配对目标数据训练的完全监督方法可达到高达 83% 的性能水平。

    Sep, 2023

  • T-CLAP：时间增强对比语言 - 音频预训练

    使用大型语言模型和混淆策略生成音频剪辑的时序对比性描述，并设计新的时序对比损失函数来改进对比性语音 - 文本预训练模型 (T-CLAP)，结果在多个下游任务中显示出更强的捕捉音频事件时序关系的能力并显著超越了最先进的模型。

    Apr, 2024

  • 跨领域声音识别用于高效水下数据分析

    本论文提出了一种新颖的深度学习方法，通过利用在广泛范围的非水下（空中）声音上训练的模型分析海量水下声音数据。我们通过主成分分析和 UMAP 可视化方法，在二维空间中对水下数据进行了聚类，并选择候选标签进行进一步训练。其次，我们使用选定的水下数据和非水下数据集训练了一个神经网络模型，并量化分析了模型对于识别空气枪声，一种常见的水下声音，的准确率、召回率和 F1 得分。我们的模型达到了超过 84.3% 的 F1 得分，证明了我们的方法在分析水下声学数据方面的有效性。该论文提出的方法在减少水下数据分析所需的工作量方面具有重要潜力，为跨领域数据分析的进一步研究开辟了新的可能性。

    Sep, 2023

  • 大规模对比语音语言预训练：特征融合与关键词生成式扩充

    本文提出了一个对比学习的流程，通过语音数据和自然语言描述来开发一个音频表示，构建了一个对比语音 - 语言预训练模型，通过 LAION-Audio-630K 数据集，并将特征融合机制和关键词 - 标题增强等机制纳入模型设计来增强模型的处理能力，在三个任务中检验模型表现，取得了优秀的性能表现。

    Nov, 2022

  • 使用预训练大型多模态模型的音频视觉广义零样本学习

    利用预训练模型，包括 CLIP 和 CLAP 提取特征，结合文本编码嵌入以提高性能，我们提出了一个仅依赖前馈神经网络的简单而有效的模型来处理音频视觉的零样本学习，并在 VGGSound-GZSL、UCF-GZSL 和 ActivityNet-GZSL 等数据集上取得了最先进的性能。

    Apr, 2024

  • 主动开放字汇识别：让智能运动缓解 CLIP 限制

    本研究针对活跃的开放词汇识别提出了一种新的代理方法，利用帧间和概念间相似性来引导代理运动和融合特征，从而在不依赖类别特定知识的情况下实现 53.3% 的开放词汇识别准确率，有效应对了视点和遮挡对模型性能的影响。

    Nov, 2023

  • EnCLAP：基于神经音频编解码器和音频文本联合嵌入的自动音频字幕生成

    我们提出了一种自动音频字幕的新框架 EnCLAP，使用了两个声学表示模型 EnCodec 和 CLAP 以及一个预训练语言模型 BART。我们还引入了一种称为 masked codec modeling 的新训练目标，提高了预训练语言模型的声学感知能力。在 AudioCaps 和 Clotho 上的实验结果表明，我们的模型超过了基准模型的性能。我们将在此网址上提供源代码。在线演示可在此网址上获得。

    Jan, 2024

  • FLAP：快速语言音频预训练

    我们提出了快速语音 - 文本预训练（FLAP）的自监督方法，通过屏蔽、对比学习和重构来有效地学习对齐的音频和语言表示。FLAP 通过随机丢弃音频频谱标记，仅关注自我监督的剩余标记，以提高效率。通过互模态对比学习，FLAP 学习将配对的音频和文本表示对齐在共享的潜在空间中。值得注意的是，FLAP 通过屏蔽多个增强视图，并学习重构音频标记的屏蔽部分。此外，FLAP 利用大型语言模型（LLM）增强文本输入，以提高性能。这些方法导致更强大和信息丰富的音频 - 文本表示，使得 FLAP 在 AudioCaps（实现了 53.0% 的 R@1）和 Clotho（实现了 25.5% 的 R@1）的音频 - 文本检索任务中达到最先进的性能。

    Nov, 2023