ICLROct, 2019

多任务学习和自监督实现高效的音频分类

PDF
TL;DR本研究旨在通过使用多任务学习和自监督学习提高基于 WaveNet 的大型神经网络在音频数据上的标签效率，并证明在有限的标记训练数据场景下，同时训练其他自监督任务可以显著提高分类性能。
发现论文，激发创造
  • 多任务自监督预训练用于音乐分类

    本文研究应用自监督学习和多任务学习方法预训练音乐编码器，探索编码器结构、损失权重和自监督任务选择对下游音乐分类任务的影响。研究发现，使用多种音乐特定的自监督任务，结合合理的损失权重平衡，可以提高和推广到下游任务。

    Feb, 2021

  • 关于大规模自供训练方法在少样本语音分类中的可迁移性

    近年来，自监督学习因其能够从无标签数据中学习出鲁棒特征表示而取得了优异结果。本研究评估了大规模自监督模型在少样本音频分类中的性能，并探讨了模型的少样本学习能力与其他下游任务基准的关系，发现在某些少样本问题（如 SpeechCommandsv2）中具有最先进的性能，并且语音为基础的少样本问题与各种下游音频任务之间存在强相关性。

    Feb, 2024

  • 利用多模态自监督从零开始标记未标记的视频

    本文提出了一种基于音频和视觉的聚类方法，可以实现对视频数据集的无监督标记。经过广泛的分析，结果聚类与人工标签有很高的语义重叠性。同时，该方法也为 Kinetics，Kinetics-Sound，VGG-Sound 和 AVE 等常见视频数据集的无监督标记带来了首批基准结果。

    Jun, 2020

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021

  • 看、听、学习

    探索了音视频流之间对应关系，并提出了利用该信息实现的自我监督视听学习任务，结果表明该方法成功解决了问题，并展现出良好的视听表征，可以将其应用于声音分类、物体定位和细粒度识别任务。

    May, 2017

  • 基于音频的情绪识别的自监督学习

    情感识别通过音频输入数据的模型可以实现在心理健康、营销、游戏和社交媒体分析等领域的交互式系统的发展。

    Jul, 2023

  • 视频中音视频对象的自监督学习

    本文提出了一种使用自监督学习把视频转化成一组离散的音频 - 视觉物体的模型，并通过注意力定位和分组声源，光流聚合信息等方式提高了模型的准确度。实验表明，本模型学习到的音频 - 视觉对象嵌入可用于解决多说话者音源分离、说话人定位、音频 - 视觉数据校正和活跃说话人检测等四个任务，同时，使用非人类演讲者数据表明了本方法的可泛化性和比其他相关研究更好的效果。

    Aug, 2020

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 自监督多模态通用网络

    本文介绍了一种利用视频中存在的三种模态（视觉、音频和语言），通过自监督学习来学习表示的方法，并引入了多模态多功能网络的概念 —— 一种可以吸收多种模态，其表示方法可以在多种模态下用于下游任务。通过这种方法，我们可以在多个具有挑战性的基准测试中获得最先进的性能。

    Jun, 2020

  • 自监督学习用于音视频发言人分离

    提出自监督的音视频同步学习方法，通过引入动态三元组损失和多项式损失函数来解决说话人分离问题，结果表明该方法在人机交互系统中大幅提高了 F1 分数和降低了分离误差率，并且介绍了一个新的大规模中文音视频语料库。

    Feb, 2020