Jan, 2024

口述：通过符号转语言转换解决与符号相关的问题

PDF
TL;DR通过将符号转换为基于自然语言的表示，并将其作为输入信息，我们提出了符号到语言 (Symbol-to-Language) 方法来解决大型语言模型在符号相关问题上的推理不足，这种方法在多个任务上展现出卓越的性能。
symbolslarge language modelssymbol-to-languageabstract reasoningnatural language comprehension
发现论文，激发创造
  • 大型语言模型的符号能力研究

    研究证实，大型语言模型在处理基于符号的任务时面临符号复杂度上升的挑战，强调了需要专门的训练、内存和架构调整以提高它们在符号推理任务中的熟练度。

    May, 2024

  • 通过将语言模型与符号求解器相结合解决数学语言问题

    通过将大型语言模型与外部符号求解器相结合，我们提出了一种能够将单词问题逐步规范化为一组变量和方程的方法，并使用符号求解器解决问题，相较于 PAL 在解决代数类问题上性能提升了 20%。

    Apr, 2023

  • Symbol-LLM: 面向大型语言模型的基础符号中心化界面

    Symbol-LLM 系列模型通过收集各种符号任务并注入符号知识，解决了大型语言模型面临的符号间关系和符号中心与自然语言中心能力平衡的挑战，实验结果表明 Symbol-LLM 系列模型在符号和自然语言任务上具有平衡和优越的性能。

    Nov, 2023

  • 培训以调用符号求解器为目标的经济型语言模型实现参数高效算术推理

    在这篇论文中，我们提出了一种名为 SYRELM 的架构，它通过采用符号求解器来将自然语言算术问题转化为形式化语言描述，然后通过一个小型冻结的 LM 生成包含自然语言描述的形式化表达式，并通过策略梯度强化学习训练适应的 LM，从而实现合理的算术推理。该方法在准确性上取得了巨大的改进，并具有易于诊断、解释和大多数研究人员可以使用的特点。

    Dec, 2023

  • Logic-LM: 使用符号求解器增强大型语言模型进行可靠的逻辑推理

    Logic-LM 是一种将大型语言模型与符号推理相结合的框架，通过首先使用大型语言模型将自然语言问题转化为符号形式，然后进行确定性符号求解，以及自我精炼阶段来修正符号形式，在 ProofWriter、PrOntoQA、FOLIO 和 LogicalDeduction 等四个逻辑推理数据集上的结果表明，与仅使用大型语言模型相比，我们的方法可以显著提高逻辑推理的性能。

    May, 2023

  • 神经符号推理用于规划：通过大型语言模型和可满足性求解的反例引导归纳合成

    使用方便的自然语言进行交流，结合生成式大型语言模型和可满足模理论求解器，可以生成可验证的正确解决方案。

    Sep, 2023

  • 大型语言模型中的符号数学问题推理

    该论文研究了大型语言模型在数学问题推理方面的能力，特别关注符号推理在数值问题中的准确性，并通过自提示的方法提高了符号准确性，为模型提供了简洁可验证的推理能力。

    Aug, 2023

  • 程序辅助语言模型

    本论文介绍了一种新颖的方法，使用大型语言模型来读取自然语言问题并生成程序作为中间推理步骤，但将求解步骤委托给运行时，如 Python 解释器，在 13 个数学、符号和算法推理任务中展示了神经大型语言模型和符号解释器之间的协同作用。

    Nov, 2022

  • 元推理：针对大型语言模型的语义符号解构

    本文提出了元推理（Meta-Reasoning）的概念，通过符号解构，最大限度地将某些推理任务的不同问题转化为类似的自然语言表达式，从而使得大语言模型 (LLMs) 能够通过类比学习和促进数据有效的上下文学习，从而显著地提高推理能力，GPT-3 (text-davinci-002) 在使用一个元推理演示的情况下可以达到超过 99％的准确率。

    Jun, 2023

  • 大型语言模型是可解释学习者

    大型语言模型与符号程序的结合可以在构建人类中心预测模型时解决表达力和解释性之间的平衡问题。

    Jun, 2024