大语言模型由于上下文学习能力(ICL)受到关注。本文提出了一种新的学习方法，称为归纳偏差学习(IBL)，将ICL和代码生成技术相结合。通过使用IBL，生成的代码模型在预测准确性方面表现出与ICL和机器学习模型可比拟甚至超过的效果。
Aug, 2023
通过产生多个抽象假设并将其转化为具体的Python程序，进而为大型语言模型提高归纳推理能力，并利用自动生成的摘要或人工筛选的候选集来过滤生成的程序，从而在归纳推理任务中实现更高的准确性。
Sep, 2023
使用方便的自然语言进行交流，结合生成式大型语言模型和可满足模理论求解器，可以生成可验证的正确解决方案。
通过对最新进展的简要回顾，本文试图了解大型语言模型在逻辑推理方面的能力，包括逻辑推理数据集、任务以及利用大型语言模型进行推理的方法。通过构建基准测试集LogiGLUE，并训练一个经过指令微调的语言模型LogiT5，研究了单任务训练、多任务训练以及思维链知识蒸馏微调技术在不同逻辑推理类别上的表现，旨在揭示大型语言模型在逻辑推理中的能力和潜在路径，为该关键领域的高级和精细化发展铺平道路。
Oct, 2023
使用迭代性的假设修正技术，通过三步骤的提议、选择和修正来研究语言模型在归纳推理任务中的能力，并发现其在产生假设和筛选规则方面表现出色，但在识别可信规则和应用提议规则方面存在差距，揭示了语言模型在归纳推理任务中的潜力和局限。
通过对归纳逻辑编程基准测试的深入评估，本研究表明与模型规模较小的神经程序归纳系统相比，最新的大型语言模型在推理能力方面表现较差，无论是使用自然语言提示还是真值矩阵提示，它们在性能和泛化方面都表现较低。
Jan, 2024
利用分布式网络的“归纳学习”方法可以提高小型语言模型的推理能力，从而弥补其依赖统计模式容易产生错误答案的局限性，并可能使其逼近高参数模型在逻辑应用上所取得的水平，从而弥合人类和大型语言模型在各个领域之间的逻辑差距。
Feb, 2024
本研究针对大型语言模型（LLMs）在演绎与归纳推理能力区分不足的问题，提出了一个新框架SolverLearner，以探索LLMs的真实归纳推理能力。研究发现，LLMs在归纳推理方面表现出显著能力，但在演绎推理尤其是“反事实”推理任务中则相对欠缺。
Jul, 2024
本研究解决了大语言模型在复杂逻辑推理中的能力不足。通过自动生成复杂推理问题的新基准，我们发现通过显式的思维链提示可以显著提高模型的推理性能。此外，我们揭示了模型在集合并运算方面表现良好，但在集合交集运算方面面临重大挑战，这对于逻辑推理至关重要。
本文探讨了大型语言模型（LLMs）在推理能力上的一个重要问题，即归纳推理与演绎推理的差异。通过提出新的框架SolverLearner，研究揭示了LLMs在纯粹的归纳推理方面具备出色的能力，表现优异，但在演绎推理，尤其是“反事实”推理任务中相对不足。这一发现为理解LLMs的推理能力提供了新的视角和研究方向。