Mar, 2024

语言模型能够模拟求解器吗？使用 LLMs 进行逻辑代码仿真

PDF
TL;DR基于 Transformer 的大型语言模型（LLMs）在解决逻辑问题方面展现了显著的潜力，该研究调查了一种新颖的方向，即逻辑代码模拟，并引入了基于 LLMs 的代码模拟技术 DCoL，该技术相比其他 LLM 提示策略表现出最先进的性能，通过 GPT-4-Turbo 实现了精度提高 7.06%。
transformer-based large language modelslogic code simulationlogical solversllm prompt strategiesgpt-4-turbo
发现论文，激发创造
  • 大型语言模型的代码模拟挑战

    我们研究了大型语言模型（LLMs）模拟计算机代码和算法执行的程度。通过研究直线程序，我们发现当前的 LLMs 在处理简单程序时表现不佳，随着代码长度的增加，性能迅速下降。我们进一步研究了 LLMs 模拟包含关键路径和冗余指令的程序的能力，并展示了常规排序算法和嵌套循环的情况。我们观察到 LLMs 只能在短程序或标准过程中以低错误率的顺序执行指令。LLMs 的代码模拟与其模式识别和记忆能力存在着张力：在需要避免记忆的任务中，我们提出了一种新的提示方法，逐行模拟代码执行。经验证实，我们的新的模拟链（CoSm）方法通过避免记忆的问题改进了标准的思维链提示方法。

    Jan, 2024

  • Logic-LM: 使用符号求解器增强大型语言模型进行可靠的逻辑推理

    Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。

    May, 2023

  • 语言模型可作为逻辑求解器

    LoGiPT 是一种新颖的语言模型，通过直接模拟逻辑求解器的推理过程并严格遵守求解器的语法规则，绕过分析错误，并在竞争的语言模型上表现出优异的性能。

    Nov, 2023

  • StrategyLLM：作为问题解决的策略生成器，执行器，优化器和评估器的大型语言模型

    综合利用 LLMs 能力的 StrategyLLM 框架提出，通过制定通用问题解决策略，以及利用这些策略产生一致的解决方案来提高推理方法的泛化性和一致性。实验证明，StrategyLLM 在数学推理、常识推理、算法推理和符号推理等 4 个具有挑战性的任务上，比需要人工注释解决方案的同类基准模型 CoT-SC 表现更好。

    Nov, 2023

  • 如果 LLM 是巫师，那么代码就是魔棒：关于代码如何赋予大语言模型作为智能代理的调查

    通过将代码集成到大型语言模型的训练数据中，可以提高语言模型的代码生成能力、推理能力以及生成结构化和精确的中间步骤，并将其转化为智能代理在复杂自然语言任务中的应用。

    Jan, 2024

  • 使用代码执行解锁大型语言模型的时间问答

    本研究旨在探讨大型语言模型在处理复杂时间推理能力问题上的挑战，并提出了一种结合自然语言处理和逻辑推理的框架，证明了其在时间限制推理任务方面的有效性。

    May, 2023

  • 低限制机制的物理模拟能力

    大型语言模型结合计算物理学和编程能力，能够模拟和预测物理世界，但目前的最先进模型在计算物理问题上仍具有显著的失败模式和改进空间。

    Dec, 2023

  • 利用大型语言模型生成答案集程序

    本文提出了一种神经符号方法，将大型语言模型和答案集编程的优势相结合，以将逻辑谜题的自然语言描述转化为答案集程序。

    Jul, 2023

  • 深度研究逻辑推理与 LLM：工具选择的重要性

    通过将大型语言模型 (LLMs) 与各种符号求解器相结合，我们对 Z3、Pyke 和 Prover9 三个符号求解器的性能进行实验证明，其中与 LLMs 相结合时，Pyke 的性能明显低于 Prover9 和 Z3，Z3 的总体准确性略高于 Prover9，但 Prover9 能够处理更多问题。

    Jun, 2024

  • LLM 是否是严格的逻辑推理者？通过对比逐步解码增强自然语言证明生成

    通过引入先进的思维链接策略和分步证明生成对小规模语言模型进行微调，增强了逻辑推理能力，成功提升了语言模型完成复杂推理任务的效果。

    Nov, 2023