人工智能的基准测试至关重要，但过度适应、饱和以及数据集集中化等问题已引起人们的关注。我们提出了一种方法来创建全球基准测试创作和饱和的简化地图，其中包括覆盖计算机视觉和自然语言处理的 3765 个基准测试的数据。我们发现许多基准测试很快趋于饱和，而其他一些则无法得到广泛利用。未来的基准测试应强调多功能性、广度和实用性。

Mar, 2022

在这篇论文中，作者从道德哲学和元伦理学的研究中引用论述，提出了在当前没有一套能度量 AI 系统 “伦理性” 的指标和测量方式的情况下，将 AI 系统的考虑转变为 “价值观” 而非 “伦理学”，强调了价值观的相对性，这种思路会为开展 AI 系统的安全研究和有益研究提供新的方法。

Apr, 2022

人工智能（AI）从任务特定到通用系统的发展，逐渐趋向于与人类的多样性。为了确保 AI 系统得到充分的评估，本文建议将心理测量学作为评估通用 AI 的核心，并提出相应的框架。

Oct, 2023

该研究介绍了智能系统自识别反馈信号的必要性，提出了基于算法信息理论的智能定义，阐明了人工智能基准测试的重要性，介绍了一个使用人类内在先验近似设计的基准测试集 ——ARC，用于度量具有高通用流体智能的人工智能系统与人类的综合智能的比较。

Nov, 2019

在过去的十年中，AI 研究严重依赖于构建越来越大的深度学习模型，这一方法在科学技术方面取得了令人难以置信的成就，但也阻碍了 AI 克服与解释能力、伦理危害和环境效率有关的长期限制。通过定性访谈和计算分析，我们对 AI 研究的三段历史追溯了这种 “认识单一文化” 的形成，将其追溯到 20 世纪 90 年代对科学进展进行的根本性重构。

Apr, 2024

研究提出了一组具体的通用 AI 目标及一个平台，以客观的方式测量机器满足这些目标的程度，以便填补当前研究缺乏测量机器通用智能进展的客观方法这一空白。

Jan, 2017

论文概述了 AI commonsense benchmarks 的发展与应用、common sense 的本质及其在 AI 中的作用、构建 commonsense benchmarks 所服务的目标和理想特征。作者分析了现有 benchmark 的常见缺陷，调查了各种构建 commonsense benchmarks 的方法，总结了 139 个 commonsense benchmarks。然而，作者指出现有 benchmark 存在的空缺和 commonsense 推理的方面，并提出了未来的建议。

Feb, 2023

本文探究了人工智能资源感知和可持续性的问题，强调评估和报告能源效率取舍的重要性，研究发现不同的数据集都有自己的效率取舍，方法可以更或 weniger 地表现得高效。

Apr, 2023

我们针对当前 AI 代理人基准和评估实践的不足进行了分析，着重关注了精确度以外的其他指标，通过联合优化精确度和成本，设计和实施了一个新的优化方法，减少了成本并保持了精确度，并提出了一套有效避免过拟合的原则，同时指出了在评估实践中缺乏标准化的问题，旨在促进开发出适用于现实世界且不仅仅是基准测试上准确的代理人。

Jul, 2024

通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

Jan, 2022