这篇论文介绍了一项新颖的任务，即多模式拼图解决，其框架是视觉问题回答。我们提出了一个名为 AlgoPuzzleVQA 的新数据集，旨在挑战和评估多模态语言模型在解决需要视觉理解、语言理解和复杂算法推理的算法拼图中的能力。我们的研究表明，GPT4V 和 Gemini 等大型语言模型在拼图解决任务中表现有限，对于大量拼图的多选题回答设置，它们的性能接近随机。这些发现突出了整合视觉、语言和算法知识以解决复杂推理问题的挑战。

Mar, 2024

介绍了一个名为 PuzzLing Machines 的小数据学习挑战，该挑战包含来自语言奥林匹克的石碑难题，展示了目前包括最先进的深度神经网络模型在内的简单的统计算法无法完成这一挑战，这启发了新的 NLP 发展方向 -- 人类般思考的理解。

Apr, 2020

我们报告了建模和解决 Puzznic 的进展情况，这是一款需要玩家计划移动序列以匹配方块从而清理网格的视频游戏，我们在没有移动方块的关卡上比较了计划方法和三种约束编程方法在一小组基准实例上的表现，目前计划方法优于约束编程方法，但我们提出了改进约束模型的建议。

Oct, 2023

算法推理在问题解决和决策过程中起着重要作用，强化学习在运动控制、处理感知输入和管理随机环境等任务中表现出卓越的技能。本研究引入了 PUZZLES，这是一个基于 Simon Tatham 的便携式拼图集的基准，旨在促进算法和逻辑推理在强化学习中的进展。PUZZLES 包含 40 个不同大小和复杂程度的多样逻辑拼图，许多拼图还具有一组多样的配置参数。这 40 个拼图提供了关于强化学习代理的优势和泛化能力的详细信息。此外，我们在 PUZZLES 上评估了各种强化学习算法，提供了基准比较，并展示了未来研究的潜力。所有软件和环境都可在此 https URL 网址上获得。

Jun, 2024

本研究评估了 GPT-3.5 和 GPT-4 编程模型的编程熟练度，这些模型对于不同难度级别的编程问题的求解存在明显的局限性，作者提出了一个融合了问题难度和解题时间的编程问题复杂性度量标准，并强调了需要在 AI 模型中加入验证和创造性思维能力以更好地模拟人类问题解决技术的必要性。

May, 2023

使用大型语言模型和 PUZZLEQA 数据集探索解决和生成 NPR Sunday Puzzle 游戏节目谜题的能力，并发现大型语言模型可以解决 PUZZLEQA 谜题，但在生成谜题方面表现不佳，需要未来的研究。

Jun, 2023

本文介绍了一种带有专家知识启发式的进化算法，以更高效地解决逻辑谜题，在游戏设计中可以应用于自动验证和个性化谜题设计。

Feb, 2023

该研究提出将填字游戏作为新的自然语言理解任务，并公开发布了从纽约时报跨越 25 年的近九千个填字游戏的语料库规范，以及包含超过半百万个独特线索 - 答案对的开放域问答数据集，并探讨了多种处理方法及评价框架。

May, 2022

为了解决现有编程语言评估标准对一些流行编程语言（如 Go 或 Rust）的限制，该论文提出了一个基于执行的语言无关基准评估框架 BabelCode。同时，该论文还提出了一个新的代码翻译数据集 TP3，用于研究通过平衡 14 种语言在训练数据集中的分布来提高大规模语言模型在低资源语言任务中的性能。训练模型在平衡语料库上平均后，该模型在所有任务和语言上的 $pass@k$ 比基线模型高 12.34％。该策略在低资源语言上的 $pass@k$ 提高了 66.48％，而仅以 12.94％的代价降低了高资源语言的 $pass@k$，具有实际应用意义。

Feb, 2023

通过使用大型语言模型（LLM）生成的语义描述符直接优化有趣的多样性，我们提出了一种新的自动创作生成方法（ACES），用于在 Python 编程难题的无限空间中生成新颖且可行的目标，从而发现多样化的可解编程难题，并研究其对难题求解模型训练的影响。

Oct, 2023