ECCVOct, 2020

通过多任务表示学习理论改进少样本学习

PDF
TL;DR本文考虑多任务表示学习的框架，总结最近的研究进展，指出基于梯度和基于度量的算法在实践中的根本差异并通过新的基于光谱的正则项改进元学习方法进行实验，以实现 few-shot 分类任务。
发现论文，激发创造
  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018

  • 通过难度任务实现元转移学习

    本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

    Oct, 2019

  • 跨越多任务学习和元学习：迈向高效训练和有效适应

    本论文研究了多任务学习（MTL）与基于梯度的元学习（GBML）之间的关系，通过理论和实证研究证明了它们在优化公式和学习到的预测函数上的相似性，并通过样例展示了 MTL 作为一阶方法可以代替计算代价高的二阶方法 ——GBML，在大规模数据集上训练时更加有效。

    Jun, 2021

  • 每个任务非常少的样本的元学习

    在这项研究中，我们研究了元学习和多任务学习的框架，探讨了在小样本情况下，通过少量任务和样本，能否学习到有效的共享表示，并利用该表示解决二分类问题。

    Dec, 2023

  • 混合正交专家的多任务强化学习

    多任务强化学习 (MTRL) 通过共享表示，来克服代理程序普适性技能泛化的长期问题，本文介绍了在 MTRL 中学习共享多样性表示的一种新方法，称为 MOORE，它通过专家混合生成的表示的共享子空间来促进任务之间的多样性，研究表明 MOORE 在 MiniGrid 和 MetaWorld 两个基准测试中超过了其他相关基线，成为 MetaWorld 领域的最新技术成果。

    Nov, 2023

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • Few-shot 学习的元学习方法：最新进展综述

    该论文介绍了元学习在深度学习中的应用及其近期发展，涵盖度量、记忆、基于学习等方法，并探讨了当前的挑战和未来的研究方向。

    Mar, 2023

  • 活跃的多任务表示学习

    本文提出了一种基于主动学习技术的算法，用于估计每个源任务与目标任务的相关性并进行采样，以便更好地利用大数据源任务的力量并克服目标任务样本的稀缺性，并证明了在线性表示类上使用我们的算法可以在相同错误率下节省源任务采样复杂度。同时，作者通过实验结果显示了该方法在真实的计算机视觉数据集上的有效性。

    Feb, 2022

  • 基于元度量学习的小样本学习

    本文提出一种基于元度量学习的学习方法，在 $k$-shot $N$-way 和多样化领域任务及灵活标签数量等新设置中均具有优异性能。

    Jan, 2019

  • 寻找基于任务的平坦区域以提高多任务学习

    本文研究了多任务学习领域的一种新方法，使用名为 Sharpness-aware Minimization 的训练技术，以提高单任务学习的通用性和多任务学习的性能。实验表明，该方法在多个应用程序中都有很好的表现。

    Nov, 2022