AAAIJan, 2022

元学习中多样性的影响

PDF
TL;DR研究表明，任务分配在元学习者的表现中起着至关重要的作用。传统的智慧认为，任务多样性应该能够提高元学习的性能。然而，本文发现相反的证据。通过实验证据和理论证明，我们发现，将任务分配的多样性降低到一个子集水平，有时的效果甚至更好，并且将任务分配的多样性提高到更高水平的某些情形下，反而会阻碍模型的运作，并且不会带来预期的性能提升。
发现论文，激发创造
  • 元学习是否需要支持集多样性？

    该论文研究了元学习中支持集构建的影响，发现固定支持集可以提高分类问题中的元学习性能，从而提出了一种简单、通用且具有竞争优势的基线模型用于小样本学习。

    Nov, 2020

  • 自然语言处理元学习中多样化自监督任务的分布

    本项研究探讨了如何通过自监督的方式，自动构建和提供能在自然语言处理中进行大规模元学习的任务分布，考虑了任务的多样性、难度、类型、领域和课程，结果表明，这些因素都会有意义地改变任务分布，从而显著提高元学习模型少样本学习的准确度。

    Nov, 2021

  • 探索任务内部关系以改善元学习算法

    通过选择多样的任务进行小批量处理，我们研究利用任务关联的外部知识来改善训练稳定性，进而减少训练中的噪音。

    Dec, 2023

  • 人类和机器中结构化任务分布的元学习

    通过构建基于组合语法的结构化任务分布和相同统计复杂度但没有明确的基于规则的结构的 “空任务分布”，比较人类表现与标准元学习代理在两个任务分布中的表现，发现虽然统计复杂度相当，但人类在结构化任务分布中表现更好，而代理在空任务分布中表现更好，这表明控制任务分布的谨慎构建是理解元学习者获得的策略及其与人类的差异之一种有价值的方法。

    Oct, 2020

  • 如何将数据分布在任务之间进行元学习？

    采用线性回归模型，实现元学习训练中的最优数据集分配，研究表明针对不同任务的数据分配策略存在差异。

    Mar, 2021

  • 机器学习中的多样性

    本文对机器学习中的数据、模型和推理多样化进行系统总结，并探讨了多样性技术在其中所面临的挑战和未来工作的方向。

    Jul, 2018

  • 增强元学习范式的简单而有效策略

    元学习是一种有前途的范式，可以实现任务之间的技能迁移。此论文从分布鲁棒的角度优化元学习流程，并用预期尾风险的度量来元训练模型，提高元学习对任务分布的鲁棒性并减少最坏快速适应风险的条件期望。

    Oct, 2023

  • D3：面向视觉问答中系统化概括的数据多样性设计

    通过研究可视化问答问题，我们发现培训数据多样性对于实现系统化概括至关重要，而简单任务的多样性在实现系统化概括方面起着关键作用。同时，我们观察到神经模块网络利用了我们评估的所有数据多样性形式，而整体架构需要更多的数据来实现相同的效果。这些发现对于理解数据多样性设计、神经网络架构和系统化概括能力之间的相互作用提供了初步的认识。

    Sep, 2023

  • 每个任务非常少的样本的元学习

    在这项研究中，我们研究了元学习和多任务学习的框架，探讨了在小样本情况下，通过少量任务和样本，能否学习到有效的共享表示，并利用该表示解决二分类问题。

    Dec, 2023

  • 通过任务增强提高元学习的泛化能力

    该研究提出了 MetaMix 和 Channel Shuffle 等两种元学习任务增广方法，以提高元学习的泛化能力。实验结果显示这两种方法都能显著提高元学习在多个数据集上的表现，并且与现有元学习算法兼容。

    Jul, 2020