- 提升自动形式化的使用通过类型检查
通过与类型检查筛选相结合，我们使用自一致性方法对基于 GPT-4o 模型的 GPT-4o 型进行解码，使得自然语言能够更准确地转化为形式语言，并在 Lean 4 的 ProofNet 中实现 53.2% 的新的最优效果。
- 从 Transformer 中提取有限状态机
我们提出了一种专门为 Transformer 模型设计的自动机提取算法，通过对 Transformer 模型的内部潜在表示进行转换过程的跟踪并使用经典的教学方法来将其解释为确定有限状态自动机（DFA），揭示了 Transformer 模型如 - 精益练习册：从自然语言数学问题转化而成的大规模精益问题集
通过提出一种新的流程，我们利用合成数据来将自然语言数学问题转化为 Lean 4 语句，并相应地进行过滤，从而为解决 LLMs 在理解复杂数学问题和证明上的性能提供有用的训练数据。最终数据集包含约 57K 个正式 - 非正式问题对以及来自数学 - 循环神经网络语言模型表达能力下界
通过将递归神经网络语言模型连接到概率有限状态自动机，我们重新审视了递归神经网络语言模型的表征能力，并证明具有线性边界精度的递归神经网络语言模型可以表示任意的正则语言模型。
- $O_2$ 是多重上下文无关文法：一种易实现、易形式化的证明
通过比较现有的证明，本文从计算和证明论的角度对多上下文无关文法 (MCFGs) 实现平衡语言的分析进行了系统研究，得出结论认为现有的证明都不适用于解决这个实际目标，并进一步提供了一种全新、基本、极短的证明方式。最后与现有证明进行了比较分析， - AAAI形式语言的最小基于宏的重写：理论与本体工程（及其扩展应用）
该研究介绍了使用语法宏对有限形式语言进行重写的问题，提出了多项式时间算法来解决该问题的变体，并展示了其正确性。通过将算法应用于 OWL 编写的生物医学本体论，证明了该问题的实际相关性以及算法的可行性和有效性。此方法在提升本体质量和理解方面提 - Transformers 作为正规语言的识别器：表达能力调查
通过将问题视为形式语言，研究人员在调查变压器能够解决和不能解决的理论问题方面取得了显著进展，这有助于比较变压器与其他模型以及不同变压器变体在各种任务中的性能，并提供了一个统一的框架来协调看似矛盾的研究结果。
- 具有强制注意力的 Transformer 编码器所接受的逻辑语言
我们研究了可以被 Transformer 编码器识别的形式语言，重点关注了两种自注意机制：UHAT（Unique Hard Attention Transformers）和 AHAT（Average Hard Attention Trans - 神经网络语法归纳的泛化性能基准
给定一个模型和一个形式语法，该方法分配一个表示模型对未见样本进行泛化能力的得分，该得分与模型的训练数据量成反比。通过使用形式语言作为基准，我们评估了不同架构的神经网络，并发现使用最小描述长度目标（MDL）进行训练的模型比使用标准损失函数进行 - IJCAI关于概率和因果推理的困难程度
研究员从计算复杂性的角度出发，研究了能够完全表达数量化概率推理和因果效应的形式语言。研究集中于可表达许多概率和因果推断任务的可满足性问题，并建立了这些可满足性问题的确切计算复杂性。研究结果表明，一些在概率和因果推断中常用的标准语言的变体的算 - 强化学习中的受限制探索与最优性保护
在强化学习问题中引入概念的受限探索与最优保持，在满足某些约束时保持学习的最优性，通过引入监督器控制行为，建立了一个反馈控制结构来建模无约束学习过程的动态，为知道确定性环境的强化学习问题建立了必要条件和充分条件。
- 使用形式语言进行组合基准测试
本研究从形式语言的角度出发，使用确定性有限状态转换器进行实验，研究了神经网络在学习复合性时的可学习性限制，发现关键在于转换器的转换覆盖率，限制为每个转换至少有 400 个示例。
- EMNLPGraphQ IR: 用一个中间表示层统一图形查询语言语义解析
本文提出一种名为 GraphQ IR 的图形查询语言的统一中间表示，通过这种表示，神经语义解析器可以更准确地将用户查询转换为 GraphQ IR，从而可以更好地支持不同形式的语言转换，实验证实 GraphQ IR 优于之前的最新技术。
- 利用 Hard Attention Transformers 进行正式语言识别：来自电路复杂性的视角
本文分析了三种 Transformer 编码器的形式模型，比较它们的自注意力机制：unique hard attention（UHAT）、generalized unique hard attention（GUHAT）和 averaging - EMNLPPICARD: 从语言模型中进行约束的自回归解码的增量解析
本研究提出了一种名为 PICARD 的方法，它通过增量解析来约束自回归语言模型解码器，并在需要的时候拒绝不合法的令牌。在 Spider 和 CoSQL 的文本到 SQL 翻译任务中，我们发现 PICARD 将微调后的 T5 模型转化为业界领 - ACL自注意力网络能够处理有界的分层语言
证明自注意力网络可以处理具有层次结构的正式语言，例如 Dyck_k，但被证明对于近似自然语言来说过于有限，因此提出了在有限深度内捕获自然语言有界层次结构的 Dyck_(k,D) 子集，并构建了相应的硬注意力网络和软注意力网络。实验表明在此子 - 使用非确定性堆栈 RNN 学习无上下文语言
本论文提出了一种可微分的栈数据结构，它基于 Lang 算法，能够同时并行地编码指数级数量的栈配置，结合递归神经网络控制器我们称之为非确定性堆栈 RNN。我们将模型与已有的堆栈 RNN 进行比较，并在各种形式化语言上演示了模型可靠地收敛性和准 - 神经序列模型中自注意力的理论限制
本文研究了自注意力在建模形式语言方面的计算能力，发现其在处理分层结构时存在强烈的理论限制，但在自然语言处理方面表现卓越。
- 评估 LSTM 模型在形式语言中的泛化能力
本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。
- 形式语言和统计物理学中的临界性
该研究论文阐述了对于正则文法的符号间互信息随符号间距离指数衰减的特性，然而对于上下文无关文法则符合幂律分布；并且将该现象与统计力学、湍流以及宇宙膨胀等领域的幂律相关性做了联系，以及阐述了这种现象在机器学习中的潜在应用。除此之外，该研究论文还