该研究介绍了智能系统自识别反馈信号的必要性，提出了基于算法信息理论的智能定义，阐明了人工智能基准测试的重要性，介绍了一个使用人类内在先验近似设计的基准测试集 ——ARC，用于度量具有高通用流体智能的人工智能系统与人类的综合智能的比较。

Nov, 2019

本研究提出借鉴认知理论以推进 AI 的研究方向，通过嵌入因果组件来获得适应性、推理能力、常识理解等人类决策能力，以期激发 AI 技术研究，进而更好地理解人类和机器智能。

Oct, 2020

通过描述和评估不同的 AI 系统评估方式，本文首先关注传统的以任务为中心的评估方法，然后提出了能力为中心的新型评估方法，并探讨了几种可能的评估方式，包括从认知测试中衍生的测试和通用心理测量法的更一般方法。

Aug, 2014

本文旨在将关于 System-1 和 System-2 的双重系统描述引入人工智能领域，并通过将其置于认知共同模型中解决这一和其他问题。结果表明，被认为是 System-1 和 System-2 特征的不同性质实际上形成了一个认知属性光谱。共同模型提供了有关 System-1 和 System-2 所涉及的计算单元、其基本机制以及对学习、元认知和情感的影响的全面视野。

May, 2023

本文主张人工智能系统需要模拟、理解、甚至复制人类的认知偏差，在人机协作中扮演更加重要的角色，并提出了关于人类认知偏差和人工智能之间相互作用的研究议程及三个感兴趣的广泛领域，并为具有更好对人类偏见的人工智能系统的设计方向提出了研究方向。

Oct, 2022

本文提出了一个人类中心的评估框架，用于检测可靠的和值得信赖的 AI 系统，以及评估 AI 系统表现如何与领域专家进行比较。该框架可以作为一种人类中心的 AI 系统评估方法。

May, 2022

AI 系统的效率取决于其与给定任务的特定要求的一致性；然而，任务的固有复杂性常常引入潜在的有害影响或不良行为。本研究探讨了 AI 系统中关键的能力概念，即系统应该提供的功能；该概念的表达包括明确定义的结果，但实现这一能力可能会受到实施和测试不足的影响，反映了系统能力与其成功执行的能力之间的差距。探索 AI 系统有效执行任务的能力存在一项核心挑战，这一挑战尚处于初级阶段，有时表现为表示成功概率的置信区间。对于 AI 系统的能力的明确建模和详细规范是建立对其的信任的关键，它与系统的能力密切相关。本研究提出了一个框架，来说明 AI 系统的能力。受到类似 “Glass Door problem” 这样的实际场景的启发，其中一个人由于能力上的失败而无意间遇到玻璃障碍物，本研究强调了深入研究能力动态的重要性。通过详细层面上弥合能力与功能之间的差距，本研究促进了增强 AI 系统在现实应用中可靠性的讨论。

Nov, 2023

大型模型的性能评估是保证其能力和应用安全性的必要步骤，而当前的模型评估缺乏一个统一的框架来评估大型模型的多维智能。本文提出了一个全面的人工智能测试框架，包括认知科学和自然语言处理，旨在评估大型模型的智能水平，并通过一系列认知测试来指导其在不同智能维度上的改进和加速其融入人类社会的过程。

Feb, 2024

评估人工系统是否存在意识的问题日益成为关注焦点，而严格的心理测量框架对于评估大型语言模型在此方面的重要性至关重要。本文通过将人类和动物大脑的信息耦合、人类认知发展、新兴能力和心理表征发展与大型语言模型的类似现象进行比较，以心理测量智力的方式，间接估计意识体验的程度。相较于广泛的科学与形而上学意识理论，本文认为所有系统在心理测量上拥有一定程度的意识，智力的心理测量可能用于衡量异类系统（无论是人工还是人类）之间意识体验的相对相似性。

Aug, 2023

本文综述了人类学习、推理和适应新领域的关键能力 —— 概念抽象和类比制定，以及通过符号方法、深度学习和概率编程归纳等多种途径构建具有这些能力的 AI 系统的优势和局限性，最后提出了设计挑战任务和评估指标的几点建议，以在此领域取得量化和可推广的进展。

Feb, 2021