Mar, 2024

少样本学习任务属性距离：理论分析与应用

PDF
TL;DR通过引入基于属性的任务属性距离（TAD）度量来量化任务相关性，本文探讨了少样本学习（FSL）中任务之间的关系对模型在新任务上适应困难程度的影响，并使用实验证实了 TAD 度量能够有效量化任务相关性并反映不同 FSL 方法在新任务上的适应困难程度。
few-shot learningtask attribute distanceadaptation difficultyfsl modelstad metric
发现论文，激发创造
  • TADAM：基于任务的自适应度量，用于改善少样本学习

    本文提出任务依赖式的度量空间及端对端的优化方法，以改进 Few-shot learning 的性能并取得目前最佳实验效果。

    May, 2018

  • TAFSSL: 任务自适应特征子空间学习，用于小样本分类

    本文提出了一种名为 “任务自适应特征子空间学习” 的简单技术，可以显著提高少样本学习方案的性能，特别是当一些额外的未标记数据附带用于新的少样本任务时，而且它可以将在半监督 FSL 设置中更多地受益于使用未标记数据到超过 10% 的性能提高。

    Mar, 2020

  • 边缘设备的无需模型微调的离域小样本学习

    论文提出了一种轻量级、即插即用的 Few-shot 学习模块 —— 任务感知正则化 (TANO)，通过协调多组规范化统计量的更新，实现了多个用户组的属性覆盖，并在原域内和跨域通用性实验中表现出较高的准确性、推理速度和模型大小。

    Apr, 2023

  • Few-shot 适应在不确定数据中的应用

    该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。

    Aug, 2022

  • 元任务：元学习正则化的另一种视角

    该论文提出了一种新颖的解决方案，可以在有限标注数据情况下，能够在训练和新任务中进行有效泛化，并利用未标注样本进行元任务实施未监督技术，实验结果表明该方法在新任务和训练任务中表现良好，并具有更快，更好的收敛性，较低的泛化和标准差误差，表明其在少样本学习中的潜在实际应用能力。该方法的实验结果超过了原型网络 3.9%。

    Feb, 2024

  • 元学习跨元任务进行少样本学习

    本文提出了利用元任务之间的关系来辅助元学习的方法，分别考虑了在两种类型的元任务对上的关系，并提出了不同的策略来利用它们：1）有不相交类集的两个元任务，2）有相同类集的两个元任务，并给出了相应的新学习目标。然而由于实验中的一些错误，我们选择撤回本文。

    Feb, 2020

  • 自适应边界损失增强少样本学习

    本文针对小样本学习（few-shot learning）的泛化困难问题，提出了一种自适应_margin_方法，改善了基于度量的元学习方法的泛化能力，并通过实验验证了该方法的有效性。

    May, 2020

  • 领域自适应少样本学习

    本文提出一种新的面向领域自适应少样本学习（DA-FSL）的解决方案，即基于领域对抗性原型网络（DAPN），该模型通过显式增强源 / 目标每类别的区分性在域自适应特征嵌入学习之前，以实现全局领域分布对齐，同时保持源 / 目标每类别的差异性从而提高 FSL 的性能。实验表明，DAPN 模型优于现有的 FSL 和 DA 模型及其简单组合。

    Mar, 2020

  • TALDS-Net：适应任务的自适应局部描述符选择用于少样本图像分类

    我们提出了一种新颖的任务感知自适应本地描述符选择网络 (TALDS-Net)，该网络具备自适应选择任务感知的支持描述符和查询描述符的能力，通过比较每个本地支持描述符与其他本地支持描述符的相似性来获得最优的支持描述符子集，然后将查询描述符与最优的支持子集进行比较以获得有区分性的查询描述符。大量实验证明我们的 TALDS-Net 在通用数据集和细粒度数据集上优于现有方法。

    Dec, 2023

  • AdaTask：一种面向任务的自适应学习率多任务学习方法

    本文提出了一种通过计算任务在某个参数上的累积更新量来度量参数在各个任务之间的占用程度的度量标准，并以此为基础提出了一种名为 AdaTask 的任务自适应学习率方法，该方法可以有效平衡多任务学习中共享层中的参数，对计算机视觉和推荐系统 MTL 数据集进行的全面实验表明，AdaTask 显著提高了受到支配的任务的性能，实现了 SOTA 平均任务性能。

    Nov, 2022