通用预测器学习

Jan, 2024

Learning Universal Predictors

Jordi Grau-Moya, Tim Genewein, Marcus Hutter, Laurent Orseau, Grégoire Delétang...

TL;DR通过元学习的极限来将 Solomonoff 归纳嵌入到神经网络中，利用 Universal Turing Machines 生成训练数据，研究了元学习的极限以及其对神经网络的影响，实验结果表明 UTM 数据对于元学习是一个有价值的资源，并且可以用来训练具备学习通用预测策略能力的神经网络。

Abstract

meta-learning has emerged as a powerful approach to train neural networks to learn new tasks quickly from limited data. Broad exposure to different tasks leads to versatile representations enabling general proble

meta-learning solomonoff induction universal turing machines neural networks universal prediction strategies

发现论文，激发创造

元网络

本文介绍了一种新的元学习方法 Meta Networks（MetaNet），它通过快速参数化学习跨任务的元级知识，并在新概念上进行快速泛化，同时保持了以前所学的性能表现，在 Omniglot 和 Mini-ImageNet 基准测试中，我们的 MetaNet 模型实现了接近人类水平的表现，并在准确性上优于基线方法高达 6％。我们展示了 MetaNet 的几个有吸引力的性质，如泛化和持续学习。

Mar, 2017

元学习通过普遍的语言归纳偏好

介绍一种通过元学习来探索语言习得中归纳偏好的影响的框架，并展示了一个基于音节结构的案例研究来验证该方法传递了预期的语言归纳偏好。

Jun, 2020

元学习与普适性：深度表示和梯度下降可以逼近任何学习算法

本文从普适性的角度出发，比较递归模型与将梯度下降融入元学习者的最新方法的表达能力，并回答了梯度下降与深度表示是否具有近似任何学习算法的足够能力的问题。结果发现，基于梯度的元学习策略与递归模型相比具有更广泛的推广性。

Oct, 2017

无需记忆的元学习

通过信息理论设计的元正则化目标，可以使元学习器在任务训练数据和任务测试数据之间有效地适应，成功地使用来自非相互排斥任务的数据来有效地适应新任务，并在应用场景中大幅优于标准元学习算法。

Dec, 2019

元学习及其应用的信息论泛化界限

本文介绍了信息论方面的上界计算方法，应用于两种广义的元学习算法（MAML、Reptile）中，使用互信息和个体任务互信息界限来提高元泛化间隙的精度。