Jul, 2024
逐步推理解决网格谜题:大型语言模型的不足之处
Step-by-Step Reasoning to Solve Grid Puzzles: Where do LLMs Falter?
TL;DR本研究针对现有文献仅关注网格谜题最终答案的问题,提出了评估大型语言模型(LLMs)推理能力的创新方法。通过创建GridPuzzle评估数据集,开发了一种新错误分类法并设计了PuzzleEval客观指标,发现现有的提示方法并未提升LLMs在此领域的表现。这一发现为提高LLMs的解谜能力提供了新的研究方向。