Sep, 2020

小样本学习中小于 1 次学习：从 M<N 个样本中学习 N 类

PDF
TL;DR研究深度神经网络在小数据集训练下的 few-shot learning 问题，提出 soft-label generalization of k-Nearest Neighbors 分类器，探索 decision landscapes 并研究 $N<M$ 个 soft-label 样本可以分离 $N$ 个类别的理论下限及其鲁棒性。
发现论文，激发创造
  • 利用软标签原型从少量示例中学习新任务

    本文介绍一种使用合成数据进行少样本分类的方法，该方法可以分类高维真实世界数据集，并将其应用于以前未见的自然语言处理任务中，使用软标签原型和修改的 k 近邻分类器进行分类，结果表明该方法可以在少数样本下进行分类，甚至超越了更复杂的 few-shot 学习方法。

    Oct, 2022

  • SimpleShot: 重新审视最近邻分类在少样本学习中的应用

    本文主要研究了基于简单特征变换的最近邻分类器在 few-shot 学习上的精度，并发现在 miniImageNet 数据集中，使用平均值减法和 L2 归一化的最近邻分类器在三个设置上优于之前的结果。

    Nov, 2019

  • 暗中开火：无基准类标签的小样本学习

    通过实验，本研究发现自监督学习在小类别图像识别中的迁移性、鲁棒性、效率及可补充性都超过了传统的少样本学习方法，并以 3.9% 的准确度优势取得了成功，因此需要更深入地研究自监督学习在少样本学习中的作用。

    Oct, 2020

  • 人类是否能进行低于一次学习？

    本文通过创新实验法，探究了人类对于数据稀少情境下的学习能力，发现人类能够通过很少量的数据来得到高维特征空间，使用基于原型的分类方式进行分类，并且能够有效地处理类似的缺少数据的问题。

    Feb, 2022

  • 一次性学习的匹配网络

    本研究使用深度神经网络和度量学习的思想，建立了一种学习新概念的框架，从而不需要微调以适应新的类别类型，并在视觉和语言任务中定义了一次性学习问题，实验结果表明，在 Imagenet 数据集上，准确率从 87.6% 提高到 93.2%，在 Omniglot 数据集上，准确率从 88.0% 提高到 93.8%。

    Jun, 2016

  • 从一次学习中学习

    该研究运用天赋先验直接模拟人类在抽象视觉任务（例如字符 / 涂鸦识别）中的基本天赋先验，使得机器学习可以在类似于人类只使用很少的样例和预训练的情况下进行泛化，并保持和人类人类识别率相同。

    Jan, 2022

  • Few-Shot Learning 领域中深度学习框架概述

    本文为深度学习架构在小数据训练中的应用进行了综述，提供了关键参考和开源代码，为希望在小数据场景下进行 Few-shot 学习的人提供了起点。

    Aug, 2020

  • 重新审视调整微调策略以用于少样本学习

    该研究证明，在 mini-ImageNet 数据集中，fine-tuning 方法在 1-shot 任务中比常见的 few-shot learning 算法具有更高的准确性，在 5-shot 任务中准确率几乎与最先进的算法相同，同时展示了在高分辨率单领域和跨领域任务中，该方法比常见 few-shot learning 算法具有更高的准确性。

    Oct, 2019

  • EASY: Ensemble Augmented-Shot Y-shaped Learning: 使用简单成分的先进 Few-Shot 分类方法

    本文提出了一种简单的方法，其几乎没有超参数或参数，并达到或甚至超过领域多个标准基准测试的性能，提供了一个新的基准，可以提出（并公平比较）新技术或改进现有方法。

    Jan, 2022

  • 少样本全生命周期学习

    本文提出了一种新的少样本生命周期学习方法，通过仅训练模型的部分参数来防止过拟合，同时最大程度上减少了灾难性遗忘，并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能，同时还证明了结合自我监督的方法可以显著提高模型性能。

    Mar, 2021