分子少样本学习是否真的需要元训练？

Apr, 2024

分子少样本学习是否真的需要元训练？

Is Meta-training Really Necessary for Molecular Few-Shot Learning ?

Philippe Formont, Hugo Jeannin, Pablo Piantanida, Ismail Ben Ayed

TL;DR我们重新审视了更简单的精调方法，基于马氏距离提出了一种正则化的二次探针损失，设计了一种专用的块坐标下降优化器，达到了与现有方法相媲美的竞争性能，并且适用于黑盒设置，消除了特定的情节预训练策略的需求。此外，我们引入了一个新的基准来评估竞争方法对领域变化的健壮性，在这个设置下，我们的精调基准模型始终获得比元学习方法更好的结果。

Abstract

few-shot learning has recently attracted significant interest in drug discovery, with a recent, fast-growing literature mostly involving convoluted meta-learning strategies. We revisit the more straightforward fine-tuni

few-shot learning drug discovery fine-tuning quadratic-probe loss robustness

发现论文，激发创造

基于元 Dropout 的统一框架用于小样本学习

本研究提出了一种基于元学习框架的元学习 Few-Shot Learning 方法，其中利用一种简单而有效的元 Dropout 机制，防止神经元在元训练阶段过度协同。实验验证了该方法在目标检测领域的有效性。

Oct, 2022

元调整的跨域少样本学习

通过引入迁移学习和元学习以及改进的训练过程包括一阶 MAML 算法和图神经网络模型，本文提出的方法在加上数据增强后，在新的跨领域少样本学习基准上实现了 73.78% 的平均准确度，比既有基准提高了 6.51%。

May, 2020

元调节损失函数和数据增强用于少样本目标检测

本研究旨在提出一种新的训练机制，从元学习的角度调整损失函数和数据增强的动态，以实现在少量样本下精准检测物体的目标，实验结果显示，在 Pascal VOC 和 MS-COCO 数据集上，该方法相较于基于 fine-tuning 和元学习的现有模型都取得了显著的进展。

Apr, 2023

元线性：探索针对少样本学习的简单元学习

本文探讨了在整个标签集上进行全分类的简单方法，并通过此方法在多个基准测试中取得了与现有技术相当的表现。同时，本文还对元学习与全分类目标在少样本学习中的权衡进行了深入分析。

Mar, 2020

利用基类信息增强元训练的少样本学习

基于元学习框架，我们提出了一种端到端训练范式，通过整个训练集的信息与元学习训练范式相互增强，以解决少样本学习中训练成本高和性能欠佳的问题。而且，我们的框架是无模型偏见的，相比基准系统提升了约 1% 的性能。

Mar, 2024

比较微调和元学习在少样本策略模仿中的有效性

本文探索了用于控制问题的少样本模仿学习，在只访问少数离线结果的情况下学习模仿目标策略的方法，并验证了针对控制问题 fine-tuning 的有效性，提出了一种用于少样本学习的基线，将在一个基础环境上在线训练，然后在目标策略的少量离线结果中进行微调。

Jun, 2023

Few-shot 学习的元学习方法：最新进展综述

该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

Mar, 2023

元转移学习用于少样本学习

本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

Dec, 2018

元学习跨元任务进行少样本学习

本文提出了利用元任务之间的关系来辅助元学习的方法，分别考虑了在两种类型的元任务对上的关系，并提出了不同的策略来利用它们：1）有不相交类集的两个元任务，2）有相同类集的两个元任务，并给出了相应的新学习目标。然而由于实验中的一些错误，我们选择撤回本文。

Feb, 2020

Few-shot 优化的广义强化元学习

提出了一种基于强化学习和元学习的框架来解决 few-shot learning 问题，通过稳定的损失函数来学习最佳的优化算法，从而实现了对参数的更新。实验结果表明该方法在准确率和 NDCG 指标上均超过了现有的替代方法，并且可扩展到网络结构搜索。

May, 2020