Nov, 2023

SAIBench：通过基准测试对科学AI进行结构解释

HTML
PDF
TL;DR人工智能用于科学 (AI4S) 是一个新兴的研究领域，利用机器学习的进展来解决复杂的科学计算问题，旨在提高计算效率和准确性。本文介绍了一种新颖的基准测试方法，称为结构解释，它满足了两个关键要求：在问题空间中确定可信的操作范围，并将错误追溯到其计算组成部分。该方法对问题和度量空间进行分区，促进了对这些空间的结构性探索。通过对机器学习力场 (MLFF)、喷气标记和降水预测这三个不同的AI4S工作负载应用结构解释，有效地建模了可信的操作范围，追踪错误，并揭示了改进模型、训练过程和数据采样策略的新视角。这项工作是SAIBench项目的一部分，它是一个AI4S基准测试套件。
发现论文，激发创造
  • SAIBench：科学人工智能基准测试

    该研究提出了一种名为SAIBench的系统，它使用专业语言SAIL分离科研问题，人工智能模型，排名标准和软硬件配置，以便在不同学科领域评估人工智能解决方案并提供低摩擦度入门。

    Jun, 2022

  • 使用AI预测AI的未来：在指数级增长的知识网络中进行高质量的链接预测

    使用AI技术构建基于真实世界数据的Science4Cast基准测试，并提出十种不同的方法来预测人工智能研究的未来研究方向，最终目的是为了更先进的研究建议工具。

    Sep, 2022

  • 量子、原子尺度和连续体系统科学中的人工智能

    本文为AI4Science领域中的一个子领域——量子、原子和连续系统的AI提供了技术上的全面介绍，重点在于探讨诸如如何采用深度学习方法捕捉自然系统物理第一性原理、特别是对称性等挑战。

    Jul, 2023

  • 科学领域的人工智能是否需要另一个ImageNet或完全不同的基准？机器学习势场的案例研究

    用机器学习力场作为案例研究，探讨有效评估科学领域中AI的基准测试方法，在样本效率、时间段敏感性和跨数据集泛化能力等方面提供了解决方案，并提出了一套更能评估模型在真实科学应用中性能的指标。

    Aug, 2023

  • 评估大型语言模型作为人工智能研究代理agent

    我们提出了一种基于LLM的研究代理的研究，该代理可以在机器学习工程问题中执行实验循环，并且我们开发了MLAgentBench来评估这些代理的性能与效率。

    Oct, 2023

  • 科学工作流智能辅助任务的新数据集和基准

    科学创新依赖于详细的工作流程，而科学出版物的无结构性使得科研人员和人工智能系统难以有效地浏览和探索科学创新领域。为了解决这个问题，我们介绍了MASSW，一个关于科学工作流多方面摘要的全面文本数据集。使用大型语言模型（LLMs），我们自动从这些出版物中提取了五个核心方面，它们对应于研究工作流程中的五个关键步骤。通过多种机器学习任务，我们展示了MASSW的实用性，这些任务可以利用这个新数据集进行基准测试，从而在科学工作流程中进行各种类型的预测和建议。

    Jun, 2024

  • SciCode: 科学家为之策划的研究编码基准

    Contemporary language models' progress towards becoming helpful scientific assistants is demonstrated by SciCode, a scientist-curated coding benchmark that examines their capabilities in generating code for solving real scientific research problems.

    Jul, 2024

  • AI科学家：迈向完全自动化的开放式科学发现

    本研究针对人工智能在科学发现中的应用进行了探索，提出了一个全面的框架，使前沿大型语言模型能够独立执行科学研究并传达其发现。研究表明，AI科学家能够以低于15美元的成本生成并完善科学论文，其成果可达顶级机器学习会议的接受标准，标志着科学发现新纪元的开始。

    Aug, 2024

  • 人工智能科学家：迈向完全自动化的开放式科学发现

    本研究旨在解决当前科学研究中人工智能参与程度不足的问题，提出了一个全面框架，使前沿的大型语言模型能够独立进行科学研究并沟通其发现。研究结果表明，AI科学家能够生成新颖的研究想法并撰写完整的科学论文，其成果在顶级机器学习会议上达到了接收标准，标志着科学发现新的时代的开始。

    Aug, 2024

  • CORE-Bench：通过计算可复现性代理基准提升已发表研究的可信度

    本研究针对科学研究中的计算可复现性问题，通过引入CORE-Bench基准来评估AI代理在此关键任务上的准确性。该基准提供了270个任务，涵盖计算机科学、社会科学和医学等领域，评估结果显示现有代理在最具挑战性的任务上仅达21%的准确率，强调了改进的巨大空间。这项工作有助于提升科学研究的可复现性，并推动未来研究代理的开发。

    Sep, 2024