ICLRMar, 2023

无监督元学习：基于少量伪有监督对比学习

PDF
TL;DR本研究提出了一种名为 “Pseudo-supervised Contrast (PsCo)” 的无监督元学习框架，可以在少样本分类任务中改进伪标签并以渐进方式构建多样化的任务，实验证明该框架在各种领域和跨领域的少样本分类基准测试中表现优异。
unsupervised meta-learningfew-shot classificationpscopseudo-supervised contrastself-supervised learning
发现论文，激发创造
  • 元学习式的无监督学习

    该篇研究通过无监督元学习方法，利用自动构建的任务，从无标记数据获取表征，并应用于多种下游分类任务中，相对于其他四种无监督学习方法的表征学习，显示出更好的性能。

    Oct, 2018

  • 跨粒度少样本学习：结合视觉 - 语义元嵌入的粗 - 精伪标记

    本文提出了一种基于元学习的跨层级少样本分类方法，通过基于图像嵌入的贪心聚类来近似细粒度标注，同时引入元嵌入器使得模型可以在训练时仅观察粗略标签，并在测试时执行细粒度分类，实验结果表明该方法的有效性和鲁棒性。

    Jul, 2020

  • 半监督少样本分类的元学习

    本研究致力于发展一种在少量标记数据情况下对未标记数据进行分类的方法并提出一种新型 Prototypical Networks 和一种使用未标记数据的元学习算法来解实际问题，经过对 Omniglot、miniImageNet 和 ImageNet 进行实验，验证了这些算法可以使预测结果得到显著改进。

    Mar, 2018

  • 自监督原型转移学习用于少样本分类

    本文提出了一种自监督的原型传递学习方法 ProtoTransfer，旨在通过构建一个可以将未标记的样本和它们的增强聚类在一起的度量嵌入来预测少量标记数据的正确类别。我们在 mini-ImageNet 数据集上的少量样本分类任务中通过 ProtoTransfer 方法超越了最先进的无监督元学习方法。在存在领域偏移的少样本实验中，我们的方法甚至具有可比拟于监督方法的性能，但需要 orders of magnitude 较少的标签。

    Jun, 2020

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • 无监督表示学习辅助半监督元学习

    通过一次性无监督元学习方法，利用增强样本作为查询集来学习训练样本的潜在表示，并通过温度缩放的交叉熵损失在元学习的内循环中防止过拟合。该方法是模型无关的，能够提高任何元学习模型的准确性，并通过在初始化和快速调适阶段采用目标有监督元学习的方式，在 Omniglot 和 mini-Imagenet 数据集上展示了该方法的性能。此外，具备该初始化的元学习模型可以在较少的训练样本下达到令人满意的准确性。

    Oct, 2023

  • 对比学习的少样本分类

    本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

    Sep, 2022

  • 通过少样本任务的特征重新审视无监督元学习

    本篇论文提出了基于无监督元学习（UML）的通用嵌入向量生成方式用于 few-shot learning，并结合数据增强、半标准化相似度、混淆实例合成、任务相关嵌入变换等技术，取得了显著优于以前 UML 方法和甚至优于有监督方法的成果。

    Nov, 2020

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • 自监督类感知几 - shot 分类

    本研究使用无标签数据进行自我监督的预训练，通过迭代聚类和重新排序，并通过扩展对比优化损失来纳入类别层次意识，以在下游分类任务中进行少样本微调。实验证明，该方法在标准和跨域场景下的性能均优于其他方法，并取得了最新的表现。

    Feb, 2022