ICMLJan, 2021

LIME 数学推理基元归纳偏好学习

PDF
TL;DR通过在数据集中编码归纳偏见，我们提出了一种名为 'LIME' 的新型预训练方法，该方法设计了三个综合任务，旨在要求模型具有演绎、归纳和拟合的能力。LIME 任务成本低廉，能够显著优于传统的预训练方法，且只需要典型下游任务计算成本的一小部分。
发现论文，激发创造
  • 迈向归纳偏差的精确计算

    我们提出了一种计算归纳偏差的新方法，该方法涉及对来自假设空间的随机假设的损失分布进行建模，以估计相对于这些假设需要的归纳偏差，从而提供了一种信息理论解释特定模型架构对特定任务的好处的度量，并为开发需要更大归纳偏差的任务提供了定量指导，从而鼓励更强大的归纳偏差的发展。

    Jun, 2024

  • 假设搜索：利用语言模型进行归纳推理

    通过产生多个抽象假设并将其转化为具体的 Python 程序，进而为大型语言模型提高归纳推理能力，并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序，从而在归纳推理任务中实现更高的准确性。

    Sep, 2023

  • 使用逻辑归纳偏置学习语言表示

    本文介绍了一种基于逻辑推理的神经网络架构 FOLNet，它可以有效地学习强大的语言表示，并具有更强的迁移学习能力。实验证明，FOLNet 模型在多个语言理解任务中胜过了现有的强大的基于 Transformer 的方法。

    Feb, 2023

  • 只预训结构：利用迁移学习理解语言归纳偏差

    本研究通过对语言模型进行先验的结构性偏置，探索了不同感性学习偏差的影响，并研究了三种感性偏差的相对成功：1）递归，分层处理的感性偏差；2）无法通过上下文自由文法建模的无限制令牌 - 令牌依赖的感性偏差；和 3）一个 Zipfian 幂律词汇分布的感性偏差。我们发现，复杂的令牌 - 令牌交互形成了最好的感性偏向，并且在非上下文自由情况下最强。同时，我们还表明，独立于语法结构，Zipfian 词汇分布形成一个良好的感性偏向。

    Apr, 2023

  • 超越 Transformers 的函数学习

    本研究通过向 Transformer 架构添加两种归纳学习偏差来探究个体的外推能力，结果表明，这些偏差对大型神经网络模型有帮助，也揭示了人类的归纳性学习偏差的类型。

    Apr, 2023

  • 理性飞跃：教授预训练模型系统性地推理隐含知识

    该研究证明，通过使用既有的预训练模型中的隐含知识以及显式的自然语言陈述，神经网络可以可靠地执行系统性推理任务，这为开放领域的系统不断与用户交互、持续改进的路径铺平了道路。

    Jun, 2020

  • 使用人工语言检验神经语言模型的归纳偏差

    该研究提出了一种新颖的方法，使用人造语言验证语言模型的归纳偏见，并发现常用的神经架构在处理语句单词排序方面存在不同的归纳偏差。

    Jun, 2021

  • 使用大型语言模型进行可解释的逻辑推理的 Selection-Inference 方法

    本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

    May, 2022

  • 大型语言模型中的不完全循环：演绎、归纳和演绎学习

    通过研究不同类型的推理方式，以及对语言模型进行的指令跟随、少样本提示和指令推断实验，我们发现即使在一些最大的语言模型中，推理的方式仍然是非系统性的，不同的学习机制可能被看似相似的提示程序调用。

    Apr, 2024

  • Lila: 数学推理的统一基准

    通过构建 LILA 基准测试，我们提出了一种旨在评估和改进人工智能系统在数学推理领域中表现的方法，并发现多任务学习可以显著提高性能，在一般数学推理和理解方面还有提高的余地。

    Oct, 2022