提出了一种名为 Chakra 的开放图谱模式，用于标准化工作负载规范，并提供了一组工具 / 功能，使各种模拟器、仿真器和基准测试能够收集、生成和采用 Chakra ETs，以推动未来人工智能系统的协同设计。

May, 2023

人工智能的基准测试至关重要，但过度适应、饱和以及数据集集中化等问题已引起人们的关注。我们提出了一种方法来创建全球基准测试创作和饱和的简化地图，其中包括覆盖计算机视觉和自然语言处理的 3765 个基准测试的数据。我们发现许多基准测试很快趋于饱和，而其他一些则无法得到广泛利用。未来的基准测试应强调多功能性、广度和实用性。

Mar, 2022

本研究针对机器学习模型在动态图中的学习和推理遇到的挑战，针对传统静态同构图数据集的局限性，提出了一种利用多元素科学出版涵盖的动态异构学术图数据集，测试模型预测任务的效能，并提出了一种系统方法来改善现有的图预测模型评估程序。

Apr, 2022

Mystic 是一个用于全局优化和严格灵敏度分析的大规模并行优化框架，与异构计算框架结合使用，可以使计算不可避免的灵敏度和优化问题变得更容易处理。

Feb, 2012

本文探究了人工智能资源感知和可持续性的问题，强调评估和报告能源效率取舍的重要性，研究发现不同的数据集都有自己的效率取舍，方法可以更或 weniger 地表现得高效。

Apr, 2023

提出了一种可扩展的评估方法（SAIH），用于分析精通于高性能计算系统上的人工智能性能趋势，通过扩大自定义应用程序的问题规模进行评估，从而进一步诊断系统瓶颈。

Dec, 2022

本文提出一种基于符号和数量特征的解释性人工智能方法 ASTERYX，其可用于解释复杂的机器学习模型。ASTERYX 还可以生成符号化解释和基于分数的解释，以量化特征在预测中的贡献，进而提供符号化和基于分数的解释。实验结果证明，该方法具有可行性且有效。

Jun, 2022

Dynatask 是一个开源系统，它旨在极大地降低主机和评估最先进的自然语言处理（NLP）模型所需的技术知识和工作量，以及用众包进行模型数据收集。用户只需要编写一个简短的任务配置文件，系统会自动生成相关的 Web 界面和模型托管基础设施，并与具有人类和模型数据收集和评估的 Dynabench 平台集成。

Apr, 2022

在过去的十年中，AI 研究严重依赖于构建越来越大的深度学习模型，这一方法在科学技术方面取得了令人难以置信的成就，但也阻碍了 AI 克服与解释能力、伦理危害和环境效率有关的长期限制。通过定性访谈和计算分析，我们对 AI 研究的三段历史追溯了这种 “认识单一文化” 的形成，将其追溯到 20 世纪 90 年代对科学进展进行的根本性重构。

Apr, 2024

本文提出了一个框架来统一解释人工智能（XAI）领域的挑战。尽管 XAI 方法可以为机器学习模型提供有用的输出，但研究人员和决策者需要注意这些方法的概念和技术限制，这些限制通常导致这些方法本身变成黑匣子。作者使用图像、文本和图形数据，研究了涉及突出显示、关注和图形解释器的三种 XAI 研究途径。尽管这些案例的背景和时间跨度各不相同，但是同样的持续困难仍然出现，这凸显了在此领域要应对 XAI 方法和应用任务之间兼容性挑战的概念突破的必要性。

Jul, 2023