鲍德温效应辅助的元学习

Jun, 2018

Meta-Learning by the Baldwin Effect

Chrisantha Thomas Fernando, Jakub Sygnowski, Simon Osindero, Jane Wang, Tom Schaul...

TL;DR通过塑造深度学习算法的超参数和初始参数，鲍德温效应能够进化出少量样本的监督和强化学习机制，并能够基因调节强烈的学习偏好，并且相比于 MAML 来说更加通用。

Abstract

The scope of the baldwin effect was recently called into question by two papers that closely examined the seminal work of Hinton and Nowlan. To this date there has been no demonstration of its necessity in empirically challenging tasks. Here we show that the →

baldwin effect deep learning few-shot learning reinforcement learning maml

发现论文，激发创造

波尔德温演化算法实现的通用神经物理求解器

通过对生物学中的鲍德温效应的生物学透镜的研究，本文首次研究了学习能够同时概括整个物理任务系列的物理知情神经网络（Physics-informed neural networks）的潜力。借鉴能够快速学习、预测和快速适应环境的早成品种的神经发育，我们构想了一种对物理学的高效学习产生强偏差的预连结强度的物理知情神经网络。为此，我们将进化选择压力（通过在一系列任务上的熟练程度进行指导）与终身学习（以在更小的一部分任务子集上专精）相结合，以生成展示出快速和符合物理规律的预测能力的物理知情神经网络，可以适应一系列充满挑战的实例问题。与通过梯度下降元学习的物理知情神经网络相比，鲍德温方法在预测准确性上提供了数量级的提升，并大大降低了计算成本。本文标志着物理知情神经网络作为通用物理求解器的元学习迈向了一个新的台阶。

Dec, 2023

基于层次贝叶斯的梯度元学习重建

本文探讨了如何使用 Bayesian 模型和梯度下降进行 meta-learning，通过 MAML 算法应用到复杂的函数逼近器上，进一步提升了算法的性能，并利用近似推断和曲率估计技术提出了改进措施。

Jan, 2018

自适应超参数的元学习

本文提出了一种自适应的方法 (ALFA)，在元学习 (MAML) 的框架下增强了快速适应过程，使用该方法可以从随机初始化中实现快速适应，且超越了 MAML 的表现，同时实验结果证明了超参数的自适应学习是近期少样本学习方法中同样重要的组成部分。

Oct, 2020

负学习率元学习

通过计算 MAML 应用于混合线性回归和非线性回归中的测试损失得出结论，表明最优的学习率为负数，这样做将进一步提高性能，帮助澄清掌握任务分布时应该使用何种元学习方法。

Feb, 2021

可扩展贝叶斯元学习通过广义隐式梯度

本论文提出了一种新的隐式贝叶斯元学习 (iBaML) 方法，通过交叉造用隐式微分的优点来控制常规显式梯度下降算法的可扩展性问题，并且这个方法可以扩展学习平均值，量化相关的不确定性，有效地解决了内部优化轨迹带来的设计复杂度限制。作者通过精确的误差界限和大量的数值测试来验证该方法。

Mar, 2023

隐式梯度元学习

本文介绍一种名为隐式 MAML 的方法，用于在少量数据下实现基于梯度的元学习，能够解决通过内层优化得到的结果进行求导时的困难，从而优雅地处理多个梯度步骤，实现在少样本下的图像识别精度的提升。

Sep, 2019

元学习需要元增强

本文提出了 Meta-Learning 中的过拟合问题，并使用信息理论框架讨论基于元学习数据增强的方法来解决这个问题。实验证明，该方法对最近提出的元规则技术有很大的补充作用。

Jul, 2020

在线元学习

该研究提出了一种综合了元学习和在线学习范式的在线元学习模型，运用改进后的 MAML 算法，实现连续终身学习，实验结果表明该算法明显优于传统的在线学习方法。

Feb, 2019

基于超网络的贝叶斯 MAML 方法

本文提出了一种名为 BayesianHyperShot 的新方法，它是对 Bayesian MAML 的创新性推广。将贝叶斯原则与超网络结合使用，可更好地收敛于经典学习评估，并通过贝叶斯方法提高了适用性，并使用超网络实现高灵活性的任务自适应。

Oct, 2022

快速学习还是特征重用？探讨 MAML 的有效性

利用剖析和潜在特征表示的分析研究，探讨了 MAML 算法是否效果显著取决于元初始化的能力还是特征重用的质量，结果显示后者更具重要性，因此提出了一个新算法 ANIL，在除了 MAML 训练网络的 (特定任务的) 头部外，移除了所有内部循环，并且在少量样本图像分类和 RL 方面，ANIL 与 MAML 的性能相当，并且具有计算上的改进。

Sep, 2019