Feb, 2024
PuzzleBench: LLM 能解决挑战性的一阶组合推理问题吗?
PuzzleBench: Can LLMs Solve Challenging First-Order Combinatorial Reasoning Problems?
Chinmay Mittal, Krishna Kartik, Mausam, Parag Singla
TL;DR我们工作的目标是探索语言模型是否可以解决复杂的一阶组合推理问题,例如数独,尽管现有的 LLMs 在这些问题上表现较差。因此,我们提出了一种新的方法,Puzzle-LM,将 LLMs 与符号求解器和程序解释器相结合,以改善解决这些问题的能力。我们还展示了通过解决较小的实例获得的反馈如何提高推理能力。