该论文提出了元调谐（meta-tuning）方法，旨在直接针对零样本学习目标对预训练语言模型进行微调，应用于分类任务，并通过聚合 43 个现有的数据集和 441 个标签描述来构建元数据集。实验证明，相比基于自然语言推理的先前 SOTA 零样本学习系统以及同样大小的 QA 模型，元调整模型在新的任务上表现更好，同时我们认为，增加参数数量会进一步提升 AUC-ROC 分数。

Apr, 2021

该论文提出了一种方法，联合搜索最佳预训练模型和微调的超参数，建立了一个大规模元数据集，通过元学习方法基于此进行多保真度性能预测器，快速优化新数据集的超参数，最终得到一个精准的预训练模型和其最优超参数。

Jun, 2023

利用元学习方法开发了一个端到端的框架来解决小规模人类研究数据的零样本学习问题，能够预测干预措施的效果并应用于多任务预测中，有效地推广了小样本人类研究的普适性。

Mar, 2022

本文提出了一种元学习方法，利用先前的元数据自动搜索高性能的机器学习管道以完成模型选择和超参数优化，该方法结合自适应贝叶斯回归模型、神经网络基函数和贝叶斯优化的收获函数，能够在监督分类数据集上高效地搜索预定义的候选管道，实验结果表明，该方法在一系列测试数据集上能够快速确定高性能的机器学习管道，并胜过基线方法。

Apr, 2019

我们提出了一种基于采样的 AutoML 方法，主要关注神经结构搜索和超参数优化，用于解决在构建大规模容量模型时的元规模生产中的挑战。我们的方法通过使用轻量级基于预测器的搜索器和强化学习来探索广泛的搜索空间，显著减少了模型评估的数量，在 CTR 和 CVR 应用的大容量建模实验中表现出杰出的投资回报率（ROI），相对于人工调优的基准，通过从精选的搜索空间中平均抽样一百个模型，达到高达 0.09% 的归一化熵（NE）损失减少或 25% 的每秒查询量（QPS）增加。我们的 AutoML 方法已经在实际应用中取得了成效，在 Instagram CTR 模型的大规模在线 A/B 测试中达到了高达 - 0.36% 的 NE 增益（相比现有的生产基准），并显示出统计上的显著改进。这些生产结果证明了 AutoML 的功效，并加速了它在 Meta 排名系统中的采用。

Nov, 2023

本文提出一种在没有访问元培训练集的情况下，利用预训练 MAML 检查点来解决新的 few-shot 分类任务的方法，通过结合对抗训练和基于不确定性的步长适应，以及对算法进行改进，在 SGD 和 Adam 优化器上，在同一领域和跨领域基准测试中优于 “基准” MAML，并表现出对基础步长的选择具有更好的鲁棒性。

Mar, 2021

本文综述了自动机器学习领域中的最新研究进展，包括数据准备、特征工程、超参数优化和神经架构搜索等方面，并着重探讨了神经架构搜索的性能和发展方向，指出目前自动机器学习领域的存在的问题及未来研究方向。

Aug, 2019

本文介绍 MetaDL 比赛的设计，数据集，最佳实验结果以及 NeurIPS 2021 挑战赛的排名方法，旨在通过元学习方法解决深度神经网络所需要的大量数据和计算资源的问题，同时强调学习良好的表示对于有效的转移学习至关重要。

Jun, 2022

本文提出一种基于自训练方法的插入式零样本文本分类技术，无需领域专业知识或经验，仅需要类别标签和无标记数据，可显著提高性能，适用于各种文本分类任务。

Oct, 2022

使用 meta-recognition 模型通过 autoencoder 方法，学习简洁的模型代码，并通过 meta-generative 模型构建任务特定模型参数，实现比 fine-tuned 基线网络更低的损失和与最先进的元学习算法相匹配的性能，同时还能够识别对模型预测有影响的训练样本和预测获取哪些附加数据将对改善模型预测最有价值。

Jul, 2018