ICCVJul, 2021

具有自主关注机制的少样本和持续学习

PDF
TL;DR本研究介绍了 Attentive Independent Mechanisms（AIM）并将其应用于 few-shot learning 和 continual learning 领域，AIM 是一个可以插入到现有深度学习框架中的模块化组件，可以通过学习快速和慢速权重及 DNN 的特征提取和高阶概念学习来解决快速适应新任务和避免忘记旧任务的挑战。实验结果表明，AIM 在 MiniImageNet 和 CIFAR-FS 等数据集上进行 few-shot 学习与 ANML 和 OMLetc 的 continual learning 中都表现出显著优异的能力。
deep neural networksfew-shot learningcontinual learningattentive independent mechanismsmodular component
发现论文，激发创造
  • 一次性学习的匹配网络

    本研究使用深度神经网络和度量学习的思想，建立了一种学习新概念的框架，从而不需要微调以适应新的类别类型，并在视觉和语言任务中定义了一次性学习问题，实验结果表明，在 Imagenet 数据集上，准确率从 87.6% 提高到 93.2%，在 Omniglot 数据集上，准确率从 88.0% 提高到 93.8%。

    Jun, 2016

  • 用对抗性类别存储进行连续少样本学习

    本文定义了一个新问题：不断出现的少样本学习；提出了 Continual Meta-Learner 来解决此问题，并在 MiniImageNet 和 CIFAR100 两个图像数据集上进行了广泛实验，表明 CML 在少量样本学习任务的分类准确性方面实现了现有最先进水平并避免了灾难性遗忘。

    Jul, 2022

  • 自适应注意力的小样本分类

    本文提出一种新的 few-shot 学习方法，通过优化和快速适应查询样本的表示来改进 few-shot 分类，所提出的自适应注意力模型还能够解释分类模型所寻找的证据。在各种基准 few-shot 分类和精细识别数据集上，实验证明了所提出模型的分类结果达到了最先进水平。

    Aug, 2020

  • 基于渐进机器学习的小样本图像分类

    基于渐进机器学习的非 i.i.d 范式，本文提出了一种新颖的途径，通过提取特征表示逐步学习，构建一元和二元因子来分类图像，实验证明该方法在准确性方面提高了 1-5%，并且相比于现有的深度模型更具鲁棒性。

    Jul, 2023

  • 应用导向的深度学习方法中的持续学习

    该论文介绍了人工智能中机器学习的相关概念，特别介绍了称为深度神经网络（DNNs）的一种深度学习模型，它具有多个人工神经元和层级结构，但容易受到所谓的 “灾难性遗忘”（CF）效应的影响，它还介绍了对抗 CF 效应的各种技术，以实现持续学习的目标。

    Jul, 2022

  • 少样本自回归密度估计：走向学习分布的学习

    本文介绍了如何通过将神经注意力和元学习技术与自回归模型相结合，实现对少量样本实现高效密度估计，从而对于图像生成等领域有重要的应用。

    Oct, 2017

  • 一次性模仿学习

    本文旨在提出一个元学习框架，称之为一次学习，实现机器人从极少量的演示中学习，并即刻推广到相似的其他任务中。

    Mar, 2017

  • 自监督知识蒸馏用于少样本学习

    该论文提出了一种两阶段的学习方法，通过最大化特征嵌入的熵来创造一个最佳输出流形，并通过自我监督的双胞胎约束流形，最小化特征嵌入的熵来提高深度神经网络在少样本学习任务中的表示能力。

    Jun, 2020

  • 带有注意力吸引网络的增量式少样本学习

    本文提出了一种基于元学习的注意力吸引网络模型，用于在已有基础类别数据的情况下，通过少量有标注的样本学习新的类别，从而提高模型对于新类别和旧类别的分类性能，超越其他相关算法。

    Oct, 2018

  • 少样本类增量学习

    该研究重点关注 CNN 模型在少数有标记样本的情况下如何对新类别进行增量式学习，并提出了基于神经气网络的知识表示和 TOpology-Preserving knowledge InCrementer (TOPIC) 框架来解决这一问题，实验结果表明该方法在几个数据集上优于当前最先进的类增量学习方法。

    Apr, 2020