Oct, 2019

重新审视调整微调策略以用于少样本学习

PDF
TL;DR该研究证明，在 mini-ImageNet 数据集中，fine-tuning 方法在 1-shot 任务中比常见的 few-shot learning 算法具有更高的准确性，在 5-shot 任务中准确率几乎与最先进的算法相同，同时展示了在高分辨率单领域和跨领域任务中，该方法比常见 few-shot learning 算法具有更高的准确性。
few-shot learningmini-imagenet datasetfine-tuninghigh-resolution single-domaincross-domain
发现论文，激发创造
  • 少样本图像分类的基准线

    这篇研究论文旨在通过优化跨熵损失训练深度网络，提出一种基准模型来解决 few-shot 学习问题，并通过使用更多的元训练类来提高准确性，同时提出衡量 few-shot 任 务难度的度量标准。

    Sep, 2019

  • 部分优于全部：重温少样本学习的微调策略

    本文提出了一种针对 few-shot learning 中使用的分类器训练，通过在基础模型中冻结或微调特定层以转移部分知识来提高性能，并引入基于进化搜索的方法以自动化此选择过程，以得到在 CUB 和 mini-ImageNet 中具有最先进表现的该方法。

    Feb, 2021

  • Few-shot Fine-tuning vs. In-context Learning: 公平比较和评估

    本文比较了预先训练的语言模型的任务适应的两种替代策略：few-shot fine-tuning 和 in-context learning。通过控制模型、样本数量和参数数量，研究表明 fine-tuned language models 确实可以很好地泛化到 domain 外。虽然两种方法的表现存在巨大变化，并且取决于模型大小和样本数量等属性，说明鲁棒的任务适应仍然是一个挑战。

    May, 2023

  • Few-shot 分类的深入探究

    这篇论文介绍了几种代表性的 few-shot 分类算法的一致性比较分析，包括修改的基准线方法，新的评估设置等，并揭示了在 backbones 网络较深时，减少类内变异是一个重要的因素，但与使用较浅的 backbones 网络时不太重要的结论。在现实的跨域评估设置中，我们展示了一种标准的微调实践的基准方法与其他最先进的 few-shot 学习算法相比的优越性。

    Apr, 2019

  • 信息检索视角下的小样本学习

    提出一种基于信息检索的方法来解决 few-shot 学习问题，通过同时优化每个训练批次中所有相对排序以提取尽可能多的信息， 在结构化预测的框架内定义模型来优化平均精度，从而实现在标准 few-shot 分类基准测试上取得令人印象深刻的结果，并具有 few-shot 检索的能力。

    Jul, 2017

  • 利用可学习视角对比学习提升少样本分类

    通过引入对比损失和学习算法，本研究提升了少样本分类任务中的细分子类别鉴别能力，实现了在嵌入空间中的潜在细粒度结构学习，并通过在标准小样本学习基准测试中的广泛试验验证了该方法的优越性。

    Jul, 2021

  • Few-Shot Learning 领域中深度学习框架概述

    本文为深度学习架构在小数据训练中的应用进行了综述，提供了关键参考和开源代码，为希望在小数据场景下进行 Few-shot 学习的人提供了起点。

    Aug, 2020

  • 少样本全生命周期学习

    本文提出了一种新的少样本生命周期学习方法，通过仅训练模型的部分参数来防止过拟合，同时最大程度上减少了灾难性遗忘，并通过减小新旧类别原型之间的余弦相似度以最大化它们的分离来提高分类性能，同时还证明了结合自我监督的方法可以显著提高模型性能。

    Mar, 2021

  • 元调整的跨域少样本学习

    通过引入迁移学习和元学习以及改进的训练过程包括一阶 MAML 算法和图神经网络模型，本文提出的方法在加上数据增强后，在新的跨领域少样本学习基准上实现了 73.78% 的平均准确度，比既有基准提高了 6.51%。

    May, 2020

  • 最近几种 Few-Shot 物体检测算法的比较评价

    本研究综述了少样本物体检测的现有成果及未来展望，提出了基于数据的训练分类法和相应监督的形式，并对其定义、主要挑战、基准数据集、评估指标和学习策略进行了详细调查，最后总结了少样本目标检测的现状以及未来的研究方向。

    Oct, 2021