基于 Transformer 模型的简单类型 lambda 演算类型推断：代码深度学习案例研究

Mar, 2023

基于 Transformer 模型的简单类型 lambda 演算类型推断：代码深度学习案例研究

Transformer Models for Type Inference in the Simply Typed Lambda Calculus: A Case Study in Deep Learning for Code

Brando Miranda, Avi Shinnar, Vasily Pestun, Barry Trager

TL;DR本文探讨了使用 transformer 模型对 typed lambda 演算进行类型推导的问题，并对优化器的选择以及 warm-up 的影响进行了实验，发现 Adafactor 比 Adam 和 RAdam 更有效。

Abstract

Despite a growing body of work at the intersection of deep learning and formal languages, there has been relatively little systematic exploration of transformer models for reasoning about typed lambda calculi. Th

transformer models typed lambda calculi neural architectures optimizer selection type inference

发现论文，激发创造

基于 Transformer 的模型在学习模拟结构递归方面仍不完美

研究了基于 Transformer 模型从示例中学习结构递归的能力，探讨了该模型在性能和语义理解等方面的局限性。

Jan, 2024

使用 Transformers 进行数学推理系统评估的符号框架

使用数据生成方法和符号代数，对变换器编码器的数学推理和泛化进行了 200,000 个例子的超大规模实验，并回答了变换器是否可以学习应用符号规则并推广到超出分布范围的例子。结果表明，扰动严重影响性能，并且可以将 F1 分数降至低于 17％，这表明推理主要由与数学运算的深层理解无关的表层模式所支配。

May, 2023

增强数据流分析的学习类型推断

CodeTIDAL5 是一种基于 Transformer 的模型，用于可靠地预测类型注释，并从程序的代码属性图中提取使用片段，其在 ManyTypes4TypeScript 基准测试上优于当前最先进的神经类型推理系统 7.85％，总体准确率达到 71.27％。

Oct, 2023

超越 Transformers 的函数学习

本研究通过向 Transformer 架构添加两种归纳学习偏差来探究个体的外推能力，结果表明，这些偏差对大型神经网络模型有帮助，也揭示了人类的归纳性学习偏差的类型。

Apr, 2023

变形金刚何时能够通过抽象符号进行推理？

调查了 Transformer 大型语言模型在涉及抽象符号的关系推理任务中的能力。对于 (i) 回归任务，我们证明了 Transformer 在训练时具有泛化性，但需要大量的训练数据；对于具有符号标签的 (ii) 下一个令牌预测任务，我们展示了一种 “反比例尺律”：随着嵌入维度的增加，Transformer 无法泛化。针对 (i) 和 (ii) 这两种情况，我们提出了微妙的 Transformer 修改，通过每个头部添加两个可训练参数来减少所需的数据量。

Oct, 2023

使用 Transformer 关注数学语言

使用变压器架构生成、评估和训练数学表达式，将其作为字符级序列转换任务进行分析，建立在关注机制上的编码器和解码器上。三个模型分别被训练在数学符号变量和表达式的理解和评估上，最终达到了测试准确率高达 76.1%、78.8% 和 84.9%。

Dec, 2018

Transformers 能否递归地学会解决问题？

本文研究了神经网络在程序编写和形式验证方面的行为，重点关注结构递归，并评估了变压器模型在近似这些函数中的能力及其局限性，并通过重构算法正确预测了近似函数的失败案例的 91％。

May, 2023

Transformer 推理的全栈优化：一项调查

本文调查了提高 Transformer 模型推理效率的不同方法，包括分析现有模型架构的瓶颈和硬件设计的影响，调度操作的挑战，以及通过神经网络架构搜索来优化 Transformer 模型等研究方向。最后，作者将这些方法应用于一个开源的全栈 DNN 加速器生成器中，并表明这些方法都可以对提高模型推理速度产生影响，其中最优的全栈设计方法可以将速度提高多达 88.7 倍，同时性能基本不受损害

Feb, 2023

OptTyper：通过优化逻辑约束和自然约束进行概率类型推断

该研究提出了一种概率类型推理框架，在 TypeScript 文件中预测缺失的类型。该框架将来自类型系统的逻辑约束与来自命名约定的深度学习模型提取的自然约束相结合，优于先前使用单一信息的模型。

Apr, 2020

用机器学习推断可插拔类型

使用机器学习自动推断类型限定符的可插入式类型系统研究，提出了一种编码最小数据流提示的新型表示方式 NaP-AST，并评估了多种模型架构，包括图变换网络（Graph Transformer Network），图卷积网络（Graph Convolutional Network）和大型语言模型。研究中还验证了这些模型在 12 个开源项目中的性能，并进行了一个可行性研究，结果发现在大约 16k 个类时性能有所提升，在约 22k 个类时由于过拟合而恶化。

Jun, 2024