ICLRFeb, 2019

自适应后验学习：基于惊喜的记忆模块的少样本学习

PDF
TL;DR本文介绍了一种名为 APL 的算法，其通过记录最令人惊讶的观测结果以近似概率分布，通过解码器网络处理外部存储器模块中的过去观测结果，从而实现快速泛化。该算法在少样本分类基准测试中表现与其他最优算法相当，且内存占用更小，同时其内存压缩功能可扩展到数千个未知标签。此外，本文还介绍了一项元学习推理任务，APL 通过演绎推理可在每个类别少于一个示例的情况下实现推理泛化。
发现论文，激发创造
  • 学习记忆罕见事件

    本文提出了一种基于最近邻算法的大规模生命周期记忆模块，该模块具有端到端的训练能力，适用于深度学习中的任何部分，可在一次学习中持续不断训练，且表现出强大的记忆力和一次学习能力，从而在多个领域实现新的性能提升，包括在 Omniglot 数据集上的一次学习状态下表现出的新状态以及在大规模机器翻译任务中，实现了循环神经网络的文件一次学习。

    Mar, 2017

  • 从机器标注的网络图片中进行小样本物体识别

    本研究提出一种基于抽象记忆的架构，利用机器标注数据，通过查询外部记忆库中与查询问题视觉相似的数据，并将有用的信息写入到抽象记忆中，最终实现了对新领域物体的准确识别。

    Dec, 2016

  • 记忆增强神经网络的单次学习

    本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

    May, 2016

  • APAM：自适应预训练和自适应元学习的语言模型，用于噪声标签和长尾学习

    本文提出了一种基于对比学习的通用框架，通过特定的学习方法，包括 re-weighting 模块和多项式交叉熵损失和 focal loss 的结合，有效解决了自然语言处理中长尾问题和噪声标签的负面影响。

    Feb, 2023

  • 受限内存下高效元生存学习

    本文提出一个高效的元学习框架，将终身学习的三个普遍原则相结合，以有效地训练同时避免灾难性遗忘和负迁移，并达到与多任务学习相当的性能。

    Oct, 2020

  • 自适应提示学习的基于少样本的情感分析

    本文提出了一种自适应提示构建策略，利用 seq2seq-attention 结构获取输入序列的语义信息，并动态构建自适应提示，可以改善提示的质量，且通过预训练的提示有效地推广至其他领域。在 FewCLUE 数据集上的实验证明了该方法的有效性和超过先前最先进方法的表现。

    May, 2022

  • 用对抗性类别存储进行连续少样本学习

    本文定义了一个新问题：不断出现的少样本学习；提出了 Continual Meta-Learner 来解决此问题，并在 MiniImageNet 和 CIFAR100 两个图像数据集上进行了广泛实验，表明 CML 在少量样本学习任务的分类准确性方面实现了现有最先进水平并避免了灾难性遗忘。

    Jul, 2022

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 应对少样本问题中的灾难性遗忘

    引入一种贝叶斯在线元学习框架来解决少样本分类问题中的灾难性遗忘问题，并通过实验验证与各种基线方法相比可以有效地实现该目标。

    Apr, 2020

  • 自适应注意力的小样本分类

    本文提出一种新的 few-shot 学习方法，通过优化和快速适应查询样本的表示来改进 few-shot 分类，所提出的自适应注意力模型还能够解释分类模型所寻找的证据。在各种基准 few-shot 分类和精细识别数据集上，实验证明了所提出模型的分类结果达到了最先进水平。

    Aug, 2020