构建元模型描述系统类别的背景下系统识别的角色和元模型自适应的作用以及如何通过数字示例提高预测性能

Dec, 2023

通过引入新的方法生成合成数据，旨在提高模型的泛化能力和鲁棒性，以解决学习动态系统中过拟合的挑战。

Mar, 2024

本文通过多种线性和非线性函数类的实证观察，延伸了之前的研究，表明了 transformers 的理想学习者表现，并探究了其在 Bayesian 模型和多任务环境下的应用，还以傅里叶级数为例研究了其归纳偏差。

Jun, 2023

本文研究了通过 Meta-learning 或者说 Learning-to-learn 的方式来训练黑盒子模型成为通用的上下文学习算法，同时发现相比于标准模型，黑盒子模型训练时的瓶颈不是参数数量而是可以访问的状态大小。此外，本文提出了一些实际操作手段，如改变训练集分布来改善通用学习算法的 Meta-training 和 Meta-generalization。

Dec, 2022

本文介绍了大型语言模型在上下文学习中的递归学习能力，即元上下文学习。作者以两个理想化的领域为例，展示了元上下文学习是如何适应性地重塑大型语言模型对预期任务的先验知识，并修改其上下文学习策略。最后，作者通过真实世界回归问题的基准测试发现，元上下文学习与传统学习算法相比具有有竞争力的性能。通过元上下文学习而不是传统的 finetuning 来纯粹地适应大型语言模型应用的环境，可以提高大家对上下文学习的理解，为大型语言模型的应用打下基础。

May, 2023

利用 transformer 进行最优输出估计问题的研究，提出一种称为 meta-output-predictor（MOP）的模型，该模型在动态系统中表现出类似于卡尔曼滤波的最优输出估计器的性能，并在具有非独立同分布噪声、时变动力学和未知参数的非线性动力学的复杂场景中表现出色，同时指出在控制和估计问题中使用 transformer 时需要谨慎的限制。

Aug, 2023

该文提出一种新的模型训练方法，称为 in-context learning，可以使 transformer 模型通过给定的输入输出对，学习出新的输入对应的输出，而无需更新参数。研究者们在极小的数据集上训练模型进行线性函数的 in-context learning，发现该模型即使出现了数据分布的改变，也能够对复杂函数进行有效和快速的学习。

Aug, 2022

在这项工作中，我们提出了一种元学习算法，通过在推理过程中学习新的视觉概念而无需微调，模拟了类似大型语言模型的能力。我们的方法利用一个冻结的预训练特征提取器，并将元学习重新构造为对具有已知标签的数据点和具有未知标签的测试数据点进行序列建模，从而在 11 个元学习基准中的 8 个中，超过或与元训练于这些基准的最先进算法 P>M>F 相匹配，而无需元训练或微调。

Oct, 2023

利用 ICL 对多输入多输出均衡问题进行了处理，并通过数值结果展示了基于 Transformer 的 ICL 模型具有阈值行为的潜力。

Nov, 2023

通过梯度下降训练的具有 softmax 注意力机制的单层 transformer 在学习线性函数类的上下文学习动态方面取得了进展，并对平衡和不平衡特征数据进行了分析，证明了其收敛性和预测误差。

Oct, 2023