Feb, 2024

元任务：元学习正则化的另一种视角

PDF
TL;DR该论文提出了一种新颖的解决方案，可以在有限标注数据情况下，能够在训练和新任务中进行有效泛化，并利用未标注样本进行元任务实施未监督技术，实验结果表明该方法在新任务和训练任务中表现良好，并具有更快，更好的收敛性，较低的泛化和标准差误差，表明其在少样本学习中的潜在实际应用能力。该方法的实验结果超过了原型网络 3.9%。
few-shot learninglabeled datageneralizationembedding modelunsupervised techniques
发现论文，激发创造
  • 元学习跨元任务进行少样本学习

    本文提出了利用元任务之间的关系来辅助元学习的方法，分别考虑了在两种类型的元任务对上的关系，并提出了不同的策略来利用它们：1）有不相交类集的两个元任务，2）有相同类集的两个元任务，并给出了相应的新学习目标。然而由于实验中的一些错误，我们选择撤回本文。

    Feb, 2020

  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019

  • 自适应边界损失增强少样本学习

    本文针对小样本学习（few-shot learning）的泛化困难问题，提出了一种自适应_margin_方法，改善了基于度量的元学习方法的泛化能力，并通过实验验证了该方法的有效性。

    May, 2020

  • 受限 Few-Shot 学习：类人低样本复杂度学习和非情节文本分类

    本文提出了一种新的任务：约束的少样本学习（CFSL），介绍了一种基于 Cat2Vec 的 CFSL 方法，该方法使用类别对比损失，并受到模糊痕迹理论和原型理论等认知理论的启发。

    Aug, 2022

  • 自我监督元学习用于少样本自然语言分类任务

    本文提出了一种自监督的方法来生成大量的 meta-learning 任务分布，通过这种方法，将 transformer 模型的预训练与 meta-learning 相结合，证明了这种方法能够在 NLP 任务上实现更好的少样本泛化。

    Sep, 2020

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 从少数样本中推广：关于小样本学习的调查

    本文在对 Few-Shot Learning 进行了深入的调研的基础上，选择使用三种视角：数据，模型，和算法来对 FSL 的方法进行分类，以提供未来研究的启示。

    Apr, 2019

  • 元学习器在数据集不平衡情况下的敏感性如何？

    本研究调查了 Few-Shot Learning (FSL) 算法训练中 imbalanced meta-datasets 与性能之间的关系，结果表明在较小的 imbalance ratio ($ ho<20$) 下，Meta-Learning (ML) 方法比 imbalance task-level 更为鲁棒，在更大的 imbalance ($ ho=65$) 下，该结果仍然成立。这一结果表明了 ML 算法的隐含优势，在数据集不平衡和域漂移的情况下能够学习到可推广的特征。

    Apr, 2021

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • Few-shot 适应在不确定数据中的应用

    该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。

    Aug, 2022