在一个统一的少样本分类基准上比较迁移学习和元学习方法

Apr, 2021

在一个统一的少样本分类基准上比较迁移学习和元学习方法

Comparing Transfer and Meta Learning Approaches on a Unified Few-Shot Classification Benchmark

Vincent Dumoulin, Neil Houlsby, Utku Evci, Xiaohua Zhai, Ross Goroshin...

TL;DR本研究对元学习和迁移学习两种方法在小样本学习领域的应用进行了交叉研究，以 Meta-Dataset 和 Visual Task Adaptation Benchmark 两个基准测试集进行了测试，发现大规模的迁移学习方法表现最佳。

Abstract

Meta and transfer learning are two successful families of approaches to few-shot learning. Despite highly related goals, state-of-the-art advances in each family are measured largely in isolation of each other. As a result of diverging evaluation norms, a direct or thorough comparison of different approaches is challenging. To bridge this gap, we perform a c

meta-learning transfer-learning few-shot-learning benchmark big-transfer

发现论文，激发创造

一种用于定制模型训练的元学习方法

本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

Sep, 2018

元转移学习用于少样本学习

本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

Dec, 2018

通过难度任务实现元转移学习

本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

Oct, 2019

探究迁移学习和元学习的相对性能

该研究对两种不同方法进行了广泛调查研究，即迁移学习和元学习，以解决机器学习中有限数据的问题，并得出了在不同条件下两种方法的表现并评估了训练数据集大小对它们的影响。这项综合性探索为确定在任何情况下选择最适合的方法提供了见解。

Oct, 2023

Few-shot 学习的元学习方法：最新进展综述

该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

Mar, 2023

多还是少的样本？比较加密流量分类中的迁移、对比和元学习

研究了在流量分类领域中，如何通过使用代表性更强的表示来减少对大规模标注数据集的依赖性，通过比较迁移学习、元学习和对比学习，发现对比学习是最佳方法，而元学习最差，树状机器学习模型对于小任务适用，而深度学习方法正在通过复用学习表示达到与树状模型相同的性能水平。同时，通过两个公共数据集的实验验证了大数据集可以获得更一般性的表示。

May, 2023

大规模迁移（BiT）：通用视觉表征学习

本文探讨了在计算机视觉问题中使用预训练模型和迁移学习进行优化的方法，提出了一种名为 Big Transfer（BiT）的简单而强大的预训练方法，该方法结合了几个精心选择的组件，并使用简单的启发式方法进行转移，使得在 20 多个数据集上实现了良好表现。

Dec, 2019

学习什么和在哪里转移

本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

May, 2019

元调整的跨域少样本学习

通过引入迁移学习和元学习以及改进的训练过程包括一阶 MAML 算法和图神经网络模型，本文提出的方法在加上数据增强后，在新的跨领域少样本学习基准上实现了 73.78% 的平均准确度，比既有基准提高了 6.51%。

May, 2020

TransMatch: 半监督少样本学习的迁移学习方案

本文提出了一种新的半监督少样本学习的转移学习框架，用于充分利用标记基础分类数据和未标记新类数据的辅助信息，并基于该框架开发了一种称为 TransMatch 的新方法，通过 Imprinting 和 MixMatch 实例化三个组件，实验结果表明，该方法可以显著提高少样本学习任务的准确度。

Dec, 2019