本篇论文探讨了 AI 领域中对少量标准基准的高度评价，指出这种基准的限制并揭示了它们的建构效度问题，从而推动通向灵活且具有普适性 AI 系统的长期目标的进展。

Nov, 2021

在过去的十年中，AI 研究严重依赖于构建越来越大的深度学习模型，这一方法在科学技术方面取得了令人难以置信的成就，但也阻碍了 AI 克服与解释能力、伦理危害和环境效率有关的长期限制。通过定性访谈和计算分析，我们对 AI 研究的三段历史追溯了这种 “认识单一文化” 的形成，将其追溯到 20 世纪 90 年代对科学进展进行的根本性重构。

Apr, 2024

通过深入文献和在线资源的系统性研究，我们编制并发布了一个全面的与临床和生物医学自然语言处理（NLP）广泛领域相关的数据集和基准目录，对 450 个 NLP 数据集进行了手动系统化和注释处理，并与跨医疗应用的相关任务进行了比较，结果显示，当前可用的人工智能基准测试不同于希望在临床环境中进行人工智能自动化的任务，因此需要创建新的基准测试以填补这些差距。

Jan, 2022

本文探究了人工智能资源感知和可持续性的问题，强调评估和报告能源效率取舍的重要性，研究发现不同的数据集都有自己的效率取舍，方法可以更或 weniger 地表现得高效。

Apr, 2023

人工智能（AI）从任务特定到通用系统的发展，逐渐趋向于与人类的多样性。为了确保 AI 系统得到充分的评估，本文建议将心理测量学作为评估通用 AI 的核心，并提出相应的框架。

Oct, 2023

在这篇论文中，作者从道德哲学和元伦理学的研究中引用论述，提出了在当前没有一套能度量 AI 系统 “伦理性” 的指标和测量方式的情况下，将 AI 系统的考虑转变为 “价值观” 而非 “伦理学”，强调了价值观的相对性，这种思路会为开展 AI 系统的安全研究和有益研究提供新的方法。

Apr, 2022

我们针对当前 AI 代理人基准和评估实践的不足进行了分析，着重关注了精确度以外的其他指标，通过联合优化精确度和成本，设计和实施了一个新的优化方法，减少了成本并保持了精确度，并提出了一套有效避免过拟合的原则，同时指出了在评估实践中缺乏标准化的问题，旨在促进开发出适用于现实世界且不仅仅是基准测试上准确的代理人。

Jul, 2024

本文探讨了高分辨率遥感技术和人工智能在森林监测中的应用，并提出标准化数据集的需求，以加速该领域的发展。作者列举了一些大规模数据集作为基准，并呼吁开展一个代表性的基准项目来促进该领域的进步。

Dec, 2022

该研究介绍了智能系统自识别反馈信号的必要性，提出了基于算法信息理论的智能定义，阐明了人工智能基准测试的重要性，介绍了一个使用人类内在先验近似设计的基准测试集 ——ARC，用于度量具有高通用流体智能的人工智能系统与人类的综合智能的比较。

Nov, 2019

机器学习和人工智能方法常常因其固有偏见以及缺乏控制、问责和透明性而受到批评，因此，监管机构在控制这种技术潜在负面效应方面存在困难。本文定义了规范过拟合，即系统过度关注具体度量而忽视高级要求和任务性能的情况。我们在几个人工智能领域（如自然语言处理、计算机视觉、强化学习）进行了广泛的文献调查，对研究人员如何提出、衡量和优化规范度量进行了分类。通过对 2018 年至 2023 年年中的主要人工智能会议和期刊的论文进行基于关键字的搜索，我们发现并分析了 74 篇提出或优化规范度量的论文。虽然大多数论文隐含地解决了规范过拟合问题（例如，通过报告多个规范度量），但它们很少讨论规范度量在系统开发中应该起到的作用，也很少明确规范度量公式的范围和假设。

Mar, 2024