本文提出了 Meta-SAGE，一种用于改善组合优化（CO）任务中深度强化学习模型的可伸缩性的新方法。 我们的方法通过建议两个组件：一个比例元学习器（SML）和指导探索的计划适应性（SAGE），将预训练模型适应到测试时间中的更大规模的问题，结果表明 Meta-SAGE 优于以前的适应方法，并且显着提高了具有代表性的 CO 任务的可伸缩性。

Jun, 2023

在这项工作中，我们探索了锐度感知极小化（SAM）和模型不可知元学习（MAML）之间的联系，特别是在增强模型泛化方面。我们引入了一种新方法 Agnostic-SAM，它结合了 SAM 和 MAML 的原则。Agnostic-SAM 通过优化模型朝向具有更广泛的局部最小值，使用训练数据来调整 SAM 的核心思想，并同时在验证数据上保持较低的损失值。通过这样做，它寻求不仅对小扰动具有鲁棒性，而且对数据分布转换问题更加稳健的最小值。我们的实验结果表明，Agnostic-SAM 在各种数据集和具有挑战性的条件下（如噪声标签和数据限制）显著改善了泛化能力。

Jun, 2024

本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

Sep, 2019

我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM 在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

Oct, 2016

该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

Feb, 2019

在这篇论文中，我们开发了一种可扩展的基于高斯过程的模块化元学习模型 ScaML-GP，其中的核心贡献是一个经过精心设计的多任务核函数，它实现了层次化训练和任务的可扩展性。通过在元数据上对 ScaML-GP 进行条件化，我们揭示了其模块化特性，得到一个结合了元任务高斯过程后验的测试任务先验。在合成和真实世界的元学习实验中，我们证明了 ScaML-GP 可以在少量和大量元任务中高效学习。

Dec, 2023

本研究提出了一种新的分解任务和子目标分配的决策方法 --SAMA。SAMA 使用预训练的语言模型，结合语言基础强化学习来训练子目标条件策略，相较于现有的 ASG 方法，SAMA 具有更高的样本效率。

May, 2023

本研究提出了 Alpha MAML 扩展算法来引入一种在线超参数适应方案，以消除 MAML 训练超参数调整的需要并提高其稳定性，实验结果表明其对于 Omniglot 数据库的效果有显著的提升。

May, 2019

提出了一种名为 LookSAM 的新算法，可以显著减少 Sharpness-Aware Minimization (SAM) 训练的额外成本，并在大批次训练场景下成功扩展批次大小以训练 Vision Transformers (ViTs) 模型。

Mar, 2022

本论文提出了一种新的隐式贝叶斯元学习 (iBaML) 方法，通过交叉造用隐式微分的优点来控制常规显式梯度下降算法的可扩展性问题，并且这个方法可以扩展学习平均值，量化相关的不确定性，有效地解决了内部优化轨迹带来的设计复杂度限制。作者通过精确的误差界限和大量的数值测试来验证该方法。

Mar, 2023