Sep, 2023

Boolformer：使用 Transformer 进行逻辑函数的符号回归

PDF
TL;DR我们介绍了 Boolformer，这是第一个经过训练的 Transformer 架构，能够执行完整的布尔函数符号回归。它能够预测复杂函数的简洁公式，并能够在提供不完整和嘈杂的观测数据时找到近似表达式。我们在广泛的实际二元分类数据集上评估了 Boolformer，展示了它作为解释性机器学习方法的潜力。最后，我们将其应用于基因调控网络动力学建模任务，使用最新的基准测试，展示了 Boolformer 与最先进的遗传算法相竞争，并具有数个量级的加速度。我们的代码和模型公开可用。
发现论文，激发创造
  • 基于 Transformer 的端到端符号回归

    本文提出了一种挑战基于遗传编程的符号回归任务的两步法的新方法，利用 Transformer 直接预测包括常数在内的完整的数学表达式，并通过给非凸优化器提供信息化的初始化对预测的常数进行细化，实验表明该方法的效果更好，在 SRBench 基准问题上的表现接近最先进的基因编程方法，并且推断速度要快数个数量级。

    Apr, 2022

  • Transformer 模型中的简洁性偏好及其学习稀疏布尔函数能力

    本文对 Transformers 和 recurrent models 的归纳偏差进行大量实证研究，发现 Transformers 在形式语言的建模上相对较弱，但其在归纳偏差方面与 recurrent models 存在差异，可解释其在泛化性能方面表现优异。

    Nov, 2022

  • Bitformer: 一种基于位运算的高效 Transformer，用于低成本低精度设备上的大数据分析

    Bitformer 模型是 Transformer 范式的一种创新扩展，通过使用位运算代替传统的浮点数矩阵乘法，既能够捕捉复杂的远程信息依赖关系，又能够显著减少注意力机制中的计算复杂性，从而解决边缘计算环境中对数据处理的苛刻要求。

    Nov, 2023

  • 变形金刚何时能够通过抽象符号进行推理？

    调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。

    Oct, 2023

  • BayesFormer：具有不确定性估计的 Transformer 模型

    介绍了一种名为 BayesFormer 的基于 Bayesian theory 设计的 Transformer 模型，该模型利用变分推断中的 dropout 扩展到 Transformer-based architectures，通过多种实验在自然语言处理、机器翻译、长序列理解和主动学习等领域展现出了卓越的性能。

    Jun, 2022

  • SATformer: 应用于 SAT 求解的 Transformer

    本文提出了 SATformer，一种基于 Transformer 的布尔满足性（SAT）求解方法，实现通过学习不可满足问题实例的最小不满足核（MUC），使用图神经网络得到 CNF 中子句的嵌入表示，采用分层 Transformer 体系结构以捕捉这些子句之间的关系，并注重没能同时出现在 UNSAT 核心中的子句的权重，实验结果表明，SATformer 能够优于现有的基于学习的 SAT 求解器。

    Sep, 2022

  • 使用 Transformers 生成符号化计划

    本文介绍了 Plansformer，这是一个进行了微调的 LLM，可用于自动化规划，并且具有强大的转移学习能力，可适用于解决不同复杂度的规划领域，其中一个 Plansformer 的配置可实现 97% 有效计划，其中 95% 为汉诺塔谜题的最优解。

    Dec, 2022

  • 分析 Transformer 的多项式化简能力之细微差别

    该研究旨在研究 Transformers 在多步骤的代数任务中的表现。作者提出了一个合成的多项式数据集生成算法，通过变化系数配置、输入表示、证明粒度和广泛的超参数调整，揭示了 Transformers 在数值乘法方面的困难，并针对此问题探索了课程学习和符号计算器两种方法，两种方法都比基准模型效果显著提升。

    Apr, 2021

  • 使用 Transformers 进行数学推理系统评估的符号框架

    使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

    May, 2023

  • Logiformer：一种用于解释性逻辑推理的双分支图转换器网络

    Logiformer 是采用图形变换器网络的端到端模型，具有解决逻辑推理中长距离依赖性问题和将离散逻辑结构映射到连续文本嵌入空间的优点，介绍了不同的逻辑单位抽取策略，采用动态门机制和问题感知的自我注意模块在答案预测之前更新特征，其推理过程利用逻辑单位提供了可解释性，实验证明其优于现有最先进的单一模型在两个逻辑推理基准测试上的性能。

    May, 2022