AAAIFeb, 2021

部分优于全部：重温少样本学习的微调策略

PDF
TL;DR本文提出了一种针对 few-shot learning 中使用的分类器训练，通过在基础模型中冻结或微调特定层以转移部分知识来提高性能，并引入基于进化搜索的方法以自动化此选择过程，以得到在 CUB 和 mini-ImageNet 中具有最先进表现的该方法。
few-shot learningclassifiertransfer learningevolutionary searchmeta-learning
发现论文，激发创造
  • 重新审视调整微调策略以用于少样本学习

    该研究证明，在 mini-ImageNet 数据集中，fine-tuning 方法在 1-shot 任务中比常见的 few-shot learning 算法具有更高的准确性，在 5-shot 任务中准确率几乎与最先进的算法相同，同时展示了在高分辨率单领域和跨领域任务中，该方法比常见 few-shot learning 算法具有更高的准确性。

    Oct, 2019

  • 利用基类信息增强元训练的少样本学习

    基于元学习框架，我们提出了一种端到端训练范式，通过整个训练集的信息与元学习训练范式相互增强，以解决少样本学习中训练成本高和性能欠佳的问题。而且，我们的框架是无模型偏见的，相比基准系统提升了约 1% 的性能。

    Mar, 2024

  • Few-Shot 学习的原型完备性

    本论文提出了一种基于原型补全的元学习框架，采用属性转移网络，利用类部件或属性的先验来学习预测看不见部分的属性，然后利用高斯原型融合策略来完成原型。该方法在归纳式和传递式少样本学习的情境中均取得了优越的性能。

    Aug, 2021

  • 少样本图像分类的基准线

    这篇研究论文旨在通过优化跨熵损失训练深度网络，提出一种基准模型来解决 few-shot 学习问题，并通过使用更多的元训练类来提高准确性，同时提出衡量 few-shot 任 务难度的度量标准。

    Sep, 2019

  • 部分微调：视觉 Transformer 的一种替代方案

    局部微调可以同时提高效率和准确性，选取适合的层对局部微调至关重要。通过引入新的微调角度度量，可以灵活适应各种场景用于更实用的局部微调，同时提高模型性能和泛化能力，减少微调参数。实验证明了局部微调的巨大潜力。

    Dec, 2023

  • 神经微调搜索用于少样本学习

    本研究从神经结构搜索的角度探讨了在 few-shot 识别中如何设计最优的适应策略，包括适配器的排列方式、哪些层保持冻结、哪些层进行微调等，并在 Meta-Dataset 和 Meta-Album 上展示了技术的普适性和最新的性能。

    Jun, 2023

  • 比较微调和元学习在少样本策略模仿中的有效性

    本文探索了用于控制问题的少样本模仿学习，在只访问少数离线结果的情况下学习模仿目标策略的方法，并验证了针对控制问题 fine-tuning 的有效性，提出了一种用于少样本学习的基线，将在一个基础环境上在线训练，然后在目标策略的少量离线结果中进行微调。

    Jun, 2023

  • 少即少：使用更少基分类学习更好的少样本问题

    本文研究了在训练数据稀缺的情况下，通过在较少的基础类别上进行微调，以改善少样本学习，探索了提取目标数据集更好特征的可能性，并提供了可在任何少样本解决方案中实施的简单且直观的方法。

    Jan, 2024

  • 基于元 Dropout 的统一框架用于小样本学习

    本研究提出了一种基于元学习框架的元学习 Few-Shot Learning 方法，其中利用一种简单而有效的元 Dropout 机制，防止神经元在元训练阶段过度协同。实验验证了该方法在目标检测领域的有效性。

    Oct, 2022

  • 元线性：探索针对少样本学习的简单元学习

    本文探讨了在整个标签集上进行全分类的简单方法，并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时，本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。

    Mar, 2020