《纽约时报连线游戏对大型语言模型的性能评估》揭示了大型语言模型在解决连线游戏时的局限性，同时发现专家玩家在这方面表现更好，为人工智能系统的抽象推理能力提供了具有挑战性的评估基准。

Jun, 2024

我们设计了 BRAINTEASER 任务来测试模型展示横向思维和打破默认常识关联的能力，研究发现，现有的指导型与常识语言模型在横向思维方面与人类表现相比存在显著差距，特别是在对抗性格式的一致性上。

Oct, 2023

该研究提出将填字游戏作为新的自然语言理解任务，并公开发布了从纽约时报跨越 25 年的近九千个填字游戏的语料库规范，以及包含超过半百万个独特线索 - 答案对的开放域问答数据集，并探讨了多种处理方法及评价框架。

May, 2022

本研究旨在探讨大型语言模型 (如 OpenAI 的 GPT 系列) 是否具有创造性问题解决能力，通过对红鱼引起的偏见效应和 Einstellung 范式在语言模型上进行探究，并介绍了新的 Only Connect Wall 数据集。

Jun, 2023

对大型语言模型（LLMs）在解谜方面的能力进行探索，揭示了它们在人工智能中的潜力和挑战，这是对其在复杂推理任务中适用性的重要一步。通过将谜题分为基于规则和非规则两类的独特分类法，该调查通过各种方法论（包括提示技术、神经符号方法和微调）对 LLMs 进行了批判性评估。通过对相关数据集和基准的批判性回顾，我们评估了 LLMs 在复杂谜题情景中的表现，发现其在需要高级逻辑推理的领域与人类推理能力存在显著差距。该调查强调了需要新的策略和更丰富数据集来提升 LLMs 在解谜方面的熟练度，并为 AI 的逻辑推理和创造性问题解决的进展做出贡献。

Feb, 2024

介绍了一个名为 PuzzLing Machines 的小数据学习挑战，该挑战包含来自语言奥林匹克的石碑难题，展示了目前包括最先进的深度神经网络模型在内的简单的统计算法无法完成这一挑战，这启发了新的 NLP 发展方向 -- 人类般思考的理解。

Apr, 2020

使用大型语言模型解决填字游戏的挑战，展示了当前最先进的语言模型在解谜填字提示方面的显著能力，性能达到先前结果的 2-3 倍，还开发了基于这一性能的搜索算法，首次使用语言模型解决完整的填字方格问题，在纽约时报的填字游戏上实现了 93% 的准确率，研究表明语言模型与人类专家的性能差距更小。

Jun, 2024

使用大型语言模型和 PUZZLEQA 数据集探索解决和生成 NPR Sunday Puzzle 游戏节目谜题的能力，并发现大型语言模型可以解决 PUZZLEQA 谜题，但在生成谜题方面表现不佳，需要未来的研究。

Jun, 2023

Leveraging a benchmark for lateral thinking, this paper examines the effects of various prompting methods on the performance of LLMs, highlighting the benefits of compressed informative prompts, dynamic in-context learning, and fine-tuning Zephyr.

Apr, 2024

这篇论文介绍了一个基准测试以评估当前模型的横向思维能力，其中一个任务是测试系统的推理和横向思维能力，在竞赛中接受了 483 个团队的提交。

Apr, 2024