使用 TPUs 的分布式进化策略进行元学习
本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。
Nov, 2020
通过元优化的方式，引入一种能够灵活表征一系列进化策略的因果 Transformer 架构 ——Evolution Transformer，用于从数据中直接发现强大的优化原理。通过 Evolution Transformer，结合进化算法蒸馏技术进行模型权重训练，我们得到一个在特定上下文中表现良好且能够很好泛化到其他具有挑战性的神经进化任务的模型。此外，我们还分析了 Evolution Transformer 的属性，并提出了一种全自引用训练的技术，从随机初始化开始并引导其自身的学习进程。我们提供了一个开源实现，网址为 https://<URL>
Mar, 2024
采用预训练深度神经网络层作为基块构建多任务学习系统，通过动态选择相关的先验知识、模型参数和超参数进行自动调优，控制模型规模实现高质量模型与较小的规模之间的权衡，并在 10 个多样化的图像分类任务中，相对于标准调优，提高了平均精度 2.39％而使用了每个任务 47％ 以上的参数。
May, 2022
该研究采用元学习来探寻对进化策略更有效的更新规则，并通过自我关注机制加以参数化，其结果显示新进化策略推广到未知的优化问题、种群大小和优化目标上表现出良好的性能。研究结果还表明，所学习的进化策略可以在监督学习和连续控制任务中优于传统的神经进化算法。
Nov, 2022
通过元学习的极限来将 Solomonoff 归纳嵌入到神经网络中，利用 Universal Turing Machines 生成训练数据，研究了元学习的极限以及其对神经网络的影响，实验结果表明 UTM 数据对于元学习是一个有价值的资源，并且可以用来训练具备学习通用预测策略能力的神经网络。
Jan, 2024
本文提出了一种增强任务适应性的 TapNets 神经网络模型，利用元学习策略和基于任务的投影方法来实现在只有少量训练数据的情况下进行优化，共学习一个网络和一组每类参考向量，通过将特征线性投影到投影空间并计算查询和参考向量之间的距离，从而实现出色的泛化性能。在 Omniglot, miniImageNet 和 tieredImageNet 数据集中的小样本下，该模型在各项指标下达到最优的分类精度。
May, 2019
通过与深度学习相同的扩展方法，我们训练一种自适应的深度学习优化器。这个优化器是一个小型神经网络，可摄取梯度并输出参数更新，经过数千个 TPU 月的计算，不需要超参数调整，可以自适应问题进行优化。
Nov, 2022
该研究探讨了在自然语言处理中实用的序列分类任务通常受到目标类别低训练数据可用性的影响，利用原型网络的元学习范式在相关任务集合上进行转移学习来缓解这个问题，并使用数据增强在句子嵌入空间和原型嵌入空间来提高分类性能，相对于 5-shot 和 10-shot 学习中的最佳性能，结合元学习的增强提供了高达 6.49％和 8.53％的相对 F1 分数改进。
Jan, 2021
本文提出了一种基于进化的技术，能够生成能够支持动态添加新任务的大规模多任务模型，并演示了该方法在 69 个公共图像分类任务上取得了有竞争力的结果，相对于在公共数据上训练的最佳模型，其错误率降低了 15%。
May, 2022