Feb, 2024

关于大规模自供训练方法在少样本语音分类中的可迁移性

PDF
TL;DR近年来，自监督学习因其能够从无标签数据中学习出鲁棒特征表示而取得了优异结果。本研究评估了大规模自监督模型在少样本音频分类中的性能，并探讨了模型的少样本学习能力与其他下游任务基准的关系，发现在某些少样本问题（如 SpeechCommandsv2）中具有最先进的性能，并且语音为基础的少样本问题与各种下游音频任务之间存在强相关性。
self-supervised learningfeature representationsfew-shot learningaudio classificationdownstream audio tasks
发现论文，激发创造
  • 通过自监督来增强少样本视觉学习

    本文提出一种通过自我监督来改善少样本学习的方法，使特征提取器可以在使用少量带注释样本的同时学习更丰富和更具可转移性的视觉表征，该方法可以自然地扩展到从其他数据集中使用多样化的带标签数据的情况，并在各种架构，数据集和自我监督技术上实现了始终如一的改进。

    Jun, 2019

  • 自监督增强少样本学习的监督

    本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

    Jun, 2019

  • 多任务学习和自监督实现高效的音频分类

    本研究旨在通过使用多任务学习和自监督学习提高基于 WaveNet 的大型神经网络在音频数据上的标签效率，并证明在有限的标记训练数据场景下，同时训练其他自监督任务可以显著提高分类性能。

    Oct, 2019

  • 自监督模型的迁移表现如何？

    本文探讨了 13 种自监督学习模型对 40 个下游任务的传输性能，发现自监督学习在多数任务上的表现均优于监督学习，但仍需解决通用预训练的问题。探究特征表明，自监督学习方法在保留颜色信息方面不如监督学习方法，但分类器校准和过度拟合问题相对较少。

    Nov, 2020

  • 自主学习用于少样本鸟声分类

    自监督学习在音频领域具有重要潜力，本研究证明自监督学习可以在无需注释的情况下从音频记录中获取有意义的鸟类声音表示，并展示了这些学习表示能够在少样本学习情景中泛化到新的鸟类物种。另外，使用预训练的音频神经网络，在自监督学习中选择高鸟类激活窗口显著提高了学习表示的质量。

    Dec, 2023

  • 自监督类感知几 - shot 分类

    本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

    Feb, 2022

  • 自监督和少样本目标检测综述

    本文综述了近期研究的少样本和自监督目标检测方法，并提出了研究中的主要收获和未来方向。

    Oct, 2021

  • 无监督自监督训练的小样本学习

    本研究提出了一种基于自监督训练（UFLST）的无监督少样本学习方法，使用渐进聚类和情节训练进行训练以进一步优化数据的特征表示，并证明了该模型在几个基准数据集中的良好性能，包括 Omniglot 和 Mini-ImageNet。

    Dec, 2019

  • 无监督学习在少样本图像分类中的应用

    本研究提出了一种自我监督学习的方法，以训练更通用的嵌入网络，可以在少样本的情况下实现更好的图像分类性能，即使在跨域情况下也表现出一定的鲁棒性。

    Nov, 2019

  • 多任务自监督预训练用于音乐分类

    本文研究应用自监督学习和多任务学习方法预训练音乐编码器，探索编码器结构、损失权重和自监督任务选择对下游音乐分类任务的影响。研究发现，使用多种音乐特定的自监督任务，结合合理的损失权重平衡，可以提高和推广到下游任务。

    Feb, 2021