该研究提出了一种名为 SAIBench 的系统，它使用专业语言 SAIL 分离科研问题，人工智能模型，排名标准和软硬件配置，以便在不同学科领域评估人工智能解决方案并提供低摩擦度入门。

Jun, 2022

人工智能用于科学 (AI4S) 是一个新兴的研究领域，利用机器学习的进展来解决复杂的科学计算问题，旨在提高计算效率和准确性。本文介绍了一种新颖的基准测试方法，称为结构解释，它满足了两个关键要求：在问题空间中确定可信的操作范围，并将错误追溯到其计算组成部分。该方法对问题和度量空间进行分区，促进了对这些空间的结构性探索。通过对机器学习力场 (MLFF)、喷气标记和降水预测这三个不同的 AI4S 工作负载应用结构解释，有效地建模了可信的操作范围，追踪错误，并揭示了改进模型、训练过程和数据采样策略的新视角。这项工作是 SAIBench 项目的一部分，它是一个 AI4S 基准测试套件。

Nov, 2023

文章探讨了在一个后 ChatGPT 的世界中，利用可扩展的人工智能进行科学发现的潜力，并提出了将人工智能在高性能计算平台上扩展起来以解决复杂问题的重要性。该研究侧重于认知模拟、用于科学探究的大型语言模型、医学图像分析和物理注入方法等科学应用案例。该研究概述了在超级计算机或云上解决此类挑战所需的方法，并提供了应用这些方法解决各种科学问题的示例。

Jun, 2024

在人工智能的快速发展中，解决复杂的人工智能任务是智能移动网络中的关键技术。为了应对这一挑战，我们提出了系统性人工智能（SAI），它是一个利用大型语言模型（LLMs）和基于 JSON 格式意图的输入连接自设计的模型库和数据库来解决人工智能任务的框架。

Oct, 2023

本文提出基于 19 项可持续性标准和 67 个指标的 “可持续人工智能 (SCAIS)” 框架，为意识到 AI 系统的开发和应用提供了实用的标准和工具。

Jun, 2023

本文探究了人工智能资源感知和可持续性的问题，强调评估和报告能源效率取舍的重要性，研究发现不同的数据集都有自己的效率取舍，方法可以更或 weniger 地表现得高效。

Apr, 2023

提出了一种名为 Compare-xAI 的基准测试框架，该框架统一了 xAI 算法的所有排他性功能测试方法，帮助研究人员、从业人员和普通人解释模型结果，同时提供了可互动的用户界面。

Jun, 2022

我们提出了一种新颖的方法，引入了三个指标：系统复杂性指数（SCI），人工智能稳定性的李雅普诺夫指数（LEAIS）和纳什均衡鲁棒性（NER）。SCI 量化了人工智能系统的内在复杂性，LEAIS 捕捉了其稳定性和对扰动的敏感性，而 NER 评估了其对对手操纵的战略鲁棒性。通过比较分析，我们展示了我们的框架相对于现有技术的优势。我们讨论了理论和实践的意义，潜在的应用，限制以及未来的研究方向。我们的工作通过提供一种全面的、理论上有基础的人工智能安全评估方法，为安全可靠的人工智能技术的发展做出了贡献。随着人工智能的不断发展，通过跨学科合作优先考虑和推动人工智能安全是确保其对社会的益处负责任的部署至关重要。

Apr, 2024

EvalAI 是一个开源工具，用于评估和比较规模化的机器学习和人工智能算法，通过标注或与人交互的方式对机器学习模型进行评估，从而帮助全球范围内的研究人员、学生和数据科学家创建、协作和参与人工智能挑战，降低机器学习和人工智能的门槛，从而提高领域内可量化的进展速度。

Feb, 2019

这篇文章提出了可持续和可扩展的人工智能集成在通信系统中的设计原则，并构建了可泛化至网络环境、意图和控制任务的人工智能算法和可自动化的学习体系结构，以实现 AI 驱动的 RAN 功能的规模化应用并简化生命周期管理。

Jun, 2023