Apr, 2023

边缘设备的无需模型微调的离域小样本学习

PDF
TL;DR论文提出了一种轻量级、即插即用的 Few-shot 学习模块 —— 任务感知正则化 (TANO)，通过协调多组规范化统计量的更新，实现了多个用户组的属性覆盖，并在原域内和跨域通用性实验中表现出较高的准确性、推理速度和模型大小。
few-shot learningdeep learning networktask-aware normalizationmodel adaptationuser experiences
发现论文，激发创造
  • 元任务：元学习正则化的另一种视角

    该论文提出了一种新颖的解决方案，可以在有限标注数据情况下，能够在训练和新任务中进行有效泛化，并利用未标注样本进行元任务实施未监督技术，实验结果表明该方法在新任务和训练任务中表现良好，并具有更快，更好的收敛性，较低的泛化和标准差误差，表明其在少样本学习中的潜在实际应用能力。该方法的实验结果超过了原型网络 3.9%。

    Feb, 2024

  • Few-shot 适应在不确定数据中的应用

    该研究发现将预训练语言模型 (LMs) 应用于许多具有多样性任务的训练可提高少量任务学习（FSL）模型的性能。作者从互联网表格中提取了 413,299 个任务并证明其中的一些数据集能更好地用于 NLP 任务的 FSL 模型中。

    Aug, 2022

  • 带噪声标签的小样本学习

    介绍了在 few-shot learning（小样本学习）中应对 Label 干扰的技术方法，提出了一种基于 Transformer 的模型（TraNFS）和特征聚合方法，通过在嘈杂的数据集上的测试，验证了这些方法的有效性。

    Apr, 2022

  • 领域自适应少样本学习

    本文提出一种新的面向领域自适应少样本学习（DA-FSL）的解决方案，即基于领域对抗性原型网络（DAPN），该模型通过显式增强源 / 目标每类别的区分性在域自适应特征嵌入学习之前，以实现全局领域分布对齐，同时保持源 / 目标每类别的差异性从而提高 FSL 的性能。实验表明，DAPN 模型优于现有的 FSL 和 DA 模型及其简单组合。

    Mar, 2020

  • 连接小样本学习和适应性：支持查询迁移的新挑战

    本文研究了 Few-Shot Learning 中当 support 和 query 样本来自于不同分布时的问题，提出了一种结合 Optimal Transport 和 Prototypical Networks 的新方法，有效缓解了 Distribution Shift 的影响，提高了模型的表现。

    May, 2021

  • 少样本情况下的联邦自然语言处理

    本研究探讨了在缺乏训练样本标签的情况下，如何通过建立一种命名为 FFNLP 的系统，使用伪标注技术和提示学习技术的算法进化来实现联邦学习模型的训练，以优化移动设备自然语言处理 (NLP) 应用程序的性能。

    Dec, 2022

  • T2FNorm：用于 OOD 检测的极其简单的缩放训练期特征归一化

    通过引入 T2FNorm 方法，在保持神经网络准确度的情况下，显著提高了进行 Out-of-Distribution 检测的精度，并有助于解决神经网络的过度自信问题。

    May, 2023

  • 推动简单管道在少样本学习中的极限：外部数据与微调的作用

    本研究通过使用神经网络架构、外部数据预训练和很少有标签的数据进行微调的三阶段流水线，探索了少样本学习的问题。研究发现，使用 transformer 的简单流水线在 Mini-ImageNet，CIFAR-FS，CDFSL 和 Meta-Dataset 等数据集上获取了惊人的表现。

    Apr, 2022

  • TAFSSL: 任务自适应特征子空间学习，用于小样本分类

    本文提出了一种名为 “任务自适应特征子空间学习” 的简单技术，可以显著提高少样本学习方案的性能，特别是当一些额外的未标记数据附带用于新的少样本任务时，而且它可以将在半监督 FSL 设置中更多地受益于使用未标记数据到超过 10% 的性能提高。

    Mar, 2020

  • 少样本学习任务属性距离：理论分析与应用

    通过引入基于属性的任务属性距离（TAD）度量来量化任务相关性，本文探讨了少样本学习（FSL）中任务之间的关系对模型在新任务上适应困难程度的影响，并使用实验证实了 TAD 度量能够有效量化任务相关性并反映不同 FSL 方法在新任务上的适应困难程度。

    Mar, 2024