介绍了一种新颖的框架，Definite Finite Automaton augmented large language model (DFA-LLM)，旨在增强使用大规模语言模型（LLM）的对话代理的能力。该框架通过将来自训练对话的学习得来的 Definite Finite Automaton (DFA) 嵌入到 LLM 中，从而使 LLM 能够遵循确定性的响应路径，具备解释性结构、上下文感知的对话响应检索以及与现有 LLMs 的即插即用兼容性。广泛的基准测试验证了 DFA-LLM 的有效性，表明其在对话代理领域具有潜在的价值贡献。

Feb, 2024

使用自然语言作为一种新的编程语言来描述任务过程，让其易于被人类和 LMMs 理解，并进一步借助 Learning to Program (LP) 方法通过学习来自训练集中的自然语言程序，优化复杂任务的问题解决能力，该方法在 AMPS 和数学两个数据集上的有效性得到验证，证明其性能超过直接零样本测试表现 18.3%。

Apr, 2023

通过使用嵌入式算法来扩展预训练语言模型的能力，作者提出了一种证据支持的问答方法来展示这种方法的优势，相比于传统的 fine-tuning 方法，该方法获得了 6.4％的改进。

May, 2023

通过从详细的规则中提取知识并显式编码到大型语言模型的参数中，我们提出了一种新的学习范式，即规则蒸馏，并证明这种方法在样本大小和泛化能力方面比基于示例的学习更加高效。

Nov, 2023

该研究探讨了最新的大型语言模型（LLMs）是否能够帮助将人类解释转化为能够支持从演示中稳定学习线性时间逻辑（LTL）的格式。我们提出了一种将 LLMs 和基于优化的方法结合的方法，用于忠实地将人类解释和演示转化为 LTL 规范。通过几个案例研究，我们的实验证明了将解释与演示相结合在学习 LTL 规范方面的有效性。

Apr, 2024

提出一种名为 GLM2FSA 的算法，该算法通过从任务目标的自然语言描述中提取任务知识生成有限状态自动机，从而填补了自然语言任务描述和基于自动机的表示之间的鸿沟。

Dec, 2022

本文探讨黑盒系统建模中使用有限状态自动机和线性时态逻辑公式的方法，通过正例学习建立有意义的、最小化的模型。作者提出了符号方法和反例引导方法两种学习方式，并在合成数据上进行评估。

Sep, 2022

本文介绍了一个基于小目标的证明学习框架和扩散模型，成功地将证明的正确率从 38.9％提高到 45.5％，或者比长期的最先进方法提高了 5 倍的采样效率。

May, 2023

该篇论文提出了一种名为 ``Formal-LLM'' 的新型框架用于基于 LLM 的代理，通过结合自然语言的表现力和形式语言的准确性，使规划过程具有控制性，从而防止代理生成无效和不成功的计划，并且通过实验验证了该框架在任务性能上取得的超过 50% 的整体性能提升，为在规划的有效性至关重要的应用场景中更广泛地利用 LLM 提供了可能性。

Feb, 2024

通过数据中心的方法，我们提出了一种能够更好地处理金融任务的金融 LLM（FLLM）模型，通过多任务提示优化来对数据进行预处理和预理解，并通过推断增强推理（AAR）自动生成训练数据，实验结果表明，我们的数据中心 FLLM 模型显著优于基于原始文本的金融 LLMs，在金融分析和解释任务上达到了最新水平，我们还开源了一个新的金融分析和解释基准，这种方法为解锁 LLMs 在复杂现实领域的潜力提供了希望。

Oct, 2023