元学习通过普遍的语言归纳偏好
通过在自然语言任务描述和生成这些任务的程序中预测表示，并指导它们对更具人类化的归纳偏差进行联合训练，结果表明在下游元增强学习代理中，这些表示的抽象支持是关键。
May, 2022
本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。
Apr, 2023
探讨元学习及如何超越当前的经典学习范式，首先阐述了学习过程中归纳偏好的重要性及其影响：学习所需的数据量。接着强调选择适当的参数化对于建立明确定义的学习过程的重要性，尤其是在实际应用中面临的多种偏见，例如传感器的特殊性、数据来源的异质性、观点的多样性等。通过利用待学习概念的结构化来组织之前发布的学习过程，我们得到了这一观点。最后，讨论了参数绑定方案和学习模型中的通用因素的出现，展望了未来的发展。
Dec, 2023
通过使用元学习方法从符号贝叶斯模型的先验分布生成一组任务集，我们能够将快速概念学习所需的归纳偏倚转移到神经网络中，创造出具有对短逻辑公式表达的概念存在偏倚的神经网络，这些结果与人类表现高度一致。
Feb, 2024
通过针对不同结构相关现象的四个实验，我们评估了 BERT 在原始数据的预训练过程中是否获得了形成结构化概括的归纳偏差，并发现 BERT 在实体 - 助动词倒装，反身代词，以及嵌套从句中动词时态检测中进行了结构化概括，但在 NPI 许可证检测中进行了线性概括，这是迄今为止最有力的支持从原始数据中获取结构性偏差的人工学习器研究结果之一。
Jul, 2020