通过研究自动化 AI 系统在 Connections 谜题中的效果，该研究探讨了该游戏作为抽象推理的自动化基准测试和衡量数据驱动语言系统中编码的语义信息的潜力。研究发现 Connections 谜题具有挑战性和可行性，是未来工作的重要测试平台。

Apr, 2024

我们研究了现代大型语言模型（LLMs）在一个受限制的环境中的创造性问题解决能力。为了达到这个目的，我们创建了一个名为 'MacGyver' 的自动生成数据集，包含 1,600 个故意触发功能固定性并需要 ' 跳出框架 ' 思考的现实世界问题。我们将问题集呈现给 LLMs 和人类，并比较两者的问题解决能力。我们展示了对于两组来说，MacGyver 都是具有挑战性的，但方式是独特且互补的。我们还提供了 LLMs 的详细错误分析，并展示了通过新颖的提示技术（如迭代的逐步反思和发散 - 收敛思维）来增强它们的问题解决能力的潜力。这项工作揭示了人类和人工智能的创造性问题解决能力，并说明了如何将心理学范式扩展到比较人类和机器的大规模任务中。

Nov, 2023

我们通过使用四个多选题基准来调查 It-LLMs 对多个探测测试的韧性能力。引入对抗性示例，我们展示了在选择顺序变化时出现的显著性能差距，揭示了选择偏差并讨论了推理能力。通过使用连续思维（CoT）技术，我们引发模型进行推理并减轻偏见，从而获得更强大的模型。

Sep, 2023

《纽约时报连线游戏对大型语言模型的性能评估》揭示了大型语言模型在解决连线游戏时的局限性，同时发现专家玩家在这方面表现更好，为人工智能系统的抽象推理能力提供了具有挑战性的评估基准。

Jun, 2024

介绍了一个名为 PuzzLing Machines 的小数据学习挑战，该挑战包含来自语言奥林匹克的石碑难题，展示了目前包括最先进的深度神经网络模型在内的简单的统计算法无法完成这一挑战，这启发了新的 NLP 发展方向 -- 人类般思考的理解。

Apr, 2020

人类语言在思维和学习结构方面发挥重要作用。本文提出了一个挑战测评与深度学习语言模型相比人类表现的基准，并通过提供结构化符号推理模块来拓展深度学习语言模型，以使其更符合人类推理。实验表明，在语言表达能力、泛化能力等方面，人类远远优于 LLMs，这说明混合 AI 模型具有更接近人类推理的潜力。

May, 2022

对大型语言模型（LLMs）在解谜方面的能力进行探索，揭示了它们在人工智能中的潜力和挑战，这是对其在复杂推理任务中适用性的重要一步。通过将谜题分为基于规则和非规则两类的独特分类法，该调查通过各种方法论（包括提示技术、神经符号方法和微调）对 LLMs 进行了批判性评估。通过对相关数据集和基准的批判性回顾，我们评估了 LLMs 在复杂谜题情景中的表现，发现其在需要高级逻辑推理的领域与人类推理能力存在显著差距。该调查强调了需要新的策略和更丰富数据集来提升 LLMs 在解谜方面的熟练度，并为 AI 的逻辑推理和创造性问题解决的进展做出贡献。

Feb, 2024

我们设计了 BRAINTEASER 任务来测试模型展示横向思维和打破默认常识关联的能力，研究发现，现有的指导型与常识语言模型在横向思维方面与人类表现相比存在显著差距，特别是在对抗性格式的一致性上。

Oct, 2023

本研究旨在建立一个有效的框架，评估大型语言模型的创造力水平，通过改编 Torrance 创造性思维测试方法，研究评估了各种任务中的创造性表现，包括流畅性、灵活性、独创性和详尽度等 4 个标准，并发现大型语言模型在独创性方面表现不足，但在详尽度方面优秀，还揭示了模型的创造力受提示和角色扮演设置的显著影响，多个模型合作也可以增强独创性，此外，人工评估和大型语言模型对创造力的影响存在一致性，强调了大型语言模型设计对创造力的重要影响。

Jan, 2024

本文研究人工智能模型（特别是大型语言模型）在知识探索和创意增强过程中的潜力。我们展示了一个名为 “潜在实验室” 的交互工具，用于发现麻省理工媒体实验室研究项目之间的联系，强调 “探索” 而非搜索。通过解决组织、搜索和综合内容的挑战，这项工作为协作式人工智能系统提供了深入见解。在一项用户研究中，根据该工具引入用户到一个陌生的知识库的能力来评估其成功，最终为人工智能知识探索系统的不断进步奠定了基础。

Nov, 2023