May, 2023

从 API 中学习：黑盒无数据元学习

PDF
TL;DR提出一种 Bi-level Data-free Meta Knowledge Distillation (BiDf-MKD) 框架，通过 black-box APIs 进行元学习，通过边缘查询集回归技术恢复更详细的查询集，并设计任务记忆重放技术以在有限的 API 预算内促进更好的泛化。
data-free meta-learningmeta knowledge distillationblack-box apisboundary query set recoverytask memory replay
发现论文，激发创造
  • FREE: 更快更好的无数据元学习

    通过从预训练模型中快速恢复训练任务和广义化到新的未见任务，我们提出了 Faster and Better Data-Free Meta-Learning (FREE) 框架，以解决数据恢复速度慢和异构预训练模型的缺点，实验证据表明，在多个基准测试中，我们的方法相对于现有的技术表现出 20 倍的加速和 1.42％至 4.78％的性能提升。

    May, 2024

  • 任务分布鲁棒的无数据元学习

    无数据元学习（DFML）旨在通过利用多个预训练模型有效地学习新任务而不需要它们的原始训练数据。我们提出了一个鲁棒的 DFML 框架，以应对任务分布偏移和任务分布污染所带来的挑战。我们通过在紧凑的任务记忆缓冲区内进行任务插值，从一个伪任务分布中进行元学习，减少元学习器对新生成任务的过度依赖，从而保证其对未见任务的泛化能力。此外，我们的框架将自动化模型选择机制无缝地整合到元训练阶段，通过参数化每个模型的可靠性作为可学习的权重来优化模型选择。全面的实验证明了该框架在减轻任务分布偏移和任务分布污染方面的有效性，突显了它在现实场景中改进 DFML 的潜力。

    Nov, 2023

  • 架构、数据集和模型规模无关的无数据元学习

    通过 “purER” 框架，我们可以进行数据免费元学习，利用已有的预训练模型进行元学习，并使用伪学习集训练新的元模型以适应新的任务分布。

    Mar, 2023

  • Meta-KD: 跨领域语言模型压缩的元知识蒸馏框架

    利用领域间的可转移知识，我们提出了一种元知识蒸馏 (Meta-KD) 框架，将初始的深度预训练模型压缩为体积更小的单域学生模型，并在多个 NLP 任务上进行了实验验证。

    Dec, 2020

  • 无数据草图图像检索

    该论文提出了一种基于数据自由方法进行绘画图像检索的新模型，通过利用预先训练的分类模型来描述模态之间的关系而不需要任何训练数据，实现了深度学习模型的隐私保护和匿名性，该方法在多个基准测试集上的效果显著优于先前最先进的方法。

    Mar, 2023

  • 从多任务非独立同分布数据中的元学习操作达到最优

    从异构源或任务的数据中提取共同特征是机器学习进展的一个重要概念。本文提出了从带有噪声的向量测量中恢复线性算子的通用设置，并引入了一种去偏差和特征白化的适应方法，其在噪声水平下，使样本复杂性与源数据大小的总和成比例地减小，从而获得与神经网络模型相当的泛化界限。

    Aug, 2023

  • 异构联邦学习的零数据知识蒸馏

    该研究提出了一种无需原始数据即可解决异构 Federated Learning 问题的新方法，通过使用轻量级生成器来集成用户信息以调控本地训练，并在实验中表现出了更好的泛化能力。

    May, 2021

  • 元先验：自适应逆问题求解的元学习

    基于深度神经网络和元学习的方法，实现在缺少标准数据的情况下，用少量样本进行特定任务的有效训练，并在图像处理和磁共振成像等多个领域展示了方法的有效性。

    Nov, 2023

  • NeurIPS 2021 元学习挑战赛的得益：在少量样本学习图像分类任务中，直接微调 Backbone 胜过基于序列的元学习

    本文介绍 MetaDL 比赛的设计，数据集，最佳实验结果以及 NeurIPS 2021 挑战赛的排名方法，旨在通过元学习方法解决深度神经网络所需要的大量数据和计算资源的问题，同时强调学习良好的表示对于有效的转移学习至关重要。

    Jun, 2022

  • 无需记忆的元学习

    通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

    Dec, 2019