ACLMay, 2022

通过自我监督训练改进上下文少样本学习

PDF
TL;DR本文提出一种在预训练与下游少样本学习之间使用自监督训练来教授模型执行上下文的少量样本学习，并在两个基准测试中提出和评估了四个自监督目标。实验结果表明，中间自监督阶段产生的模型优于强基准测试。消融实验表明影响下游性能的因素主要为训练数据量和自监督目标的多样性。定性分析表明，经过自监督训练的模型更擅长满足任务要求。
发现论文，激发创造
  • 通过自监督来增强少样本视觉学习

    本文提出一种通过自我监督来改善少样本学习的方法，使特征提取器可以在使用少量带注释样本的同时学习更丰富和更具可转移性的视觉表征，该方法可以自然地扩展到从其他数据集中使用多样化的带标签数据的情况，并在各种架构，数据集和自我监督技术上实现了始终如一的改进。

    Jun, 2019

  • 自监督增强少样本学习的监督

    本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。

    Jun, 2019

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 自监督类感知几 - shot 分类

    本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

    Feb, 2022

  • 自监督可以是一个良好的少样本学习器

    提出了一种基于自我监督的无监督学习方法来处理 few-shot learning 问题，解决了现有方法使用大规模标记数据集的问题，该方法通过最大化相互信息来进行自我监督预训练，使得模型在处理未知类别时具有更好的泛化性能。

    Jul, 2022

  • 关于大规模自供训练方法在少样本语音分类中的可迁移性

    近年来，自监督学习因其能够从无标签数据中学习出鲁棒特征表示而取得了优异结果。本研究评估了大规模自监督模型在少样本音频分类中的性能，并探讨了模型的少样本学习能力与其他下游任务基准的关系，发现在某些少样本问题（如 SpeechCommandsv2）中具有最先进的性能，并且语音为基础的少样本问题与各种下游音频任务之间存在强相关性。

    Feb, 2024

  • 上下文提取式自监督学习

    通过引入三种辅助预训练任务，从而以自监督的方式学习捕捉文档级上下文，进一步改善目前的提取式摘要模型，并在广泛使用的 CNN / DM 数据集上进行的实验验证了所提出的辅助任务的有效性。此外，我们显示出，在预训练后，一个由简单构建块组成的干净模型可以胜过之前精心设计的最先进模型。

    Jun, 2019

  • 研究自监督方法以实现标签高效学习

    视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

    Jun, 2024

  • 无监督自监督训练的小样本学习

    本研究提出了一种基于自监督训练（UFLST）的无监督少样本学习方法，使用渐进聚类和情节训练进行训练以进一步优化数据的特征表示，并证明了该模型在几个基准数据集中的良好性能，包括 Omniglot 和 Mini-ImageNet。

    Dec, 2019

  • 通过知识转移提升自监督学习

    本文提出一种新的自监督学习框架，可以解决在设计和比较不同任务、模型和数据域时的限制问题，通过这个框架设计一种新的自监督任务，在 PASCAL VOC 2007、ILSVRC12 和 Places 数据集上，取得了显著的最先进表现，并将自监督学习和监督学习之间的对象检测 mAP 误差从 5.9% 缩小到 2.6%。

    May, 2018