Dec, 2023

物理推理 AI 的基准测试

PDF
TL;DR物理推理是开发通用人工智能系统的关键因素，本论文旨在提供现有基准的综述及其解决方法，并提出了衡量人工智能系统物理推理能力的统一观点。我们选择了设计用于测试物理推理任务中算法性能的基准。虽然每个选定的基准都提出了独特的挑战，但它们的集合为具有各种物理推理概念可测量技能水平的通用 AI 代理提供了全面的实践场所。因此，这些基准集合相较于旨在模拟现实世界并交织其复杂性和许多概念的综合基准具有优势。我们将所呈现的一组物理推理基准分为子类别，以首先在这些组上对更窄的通用 AI 代理进行测试。
发现论文，激发创造
  • 自动常识推理基准：一项调查

    论文概述了 AI commonsense benchmarks 的发展与应用、common sense 的本质及其在 AI 中的作用、构建 commonsense benchmarks 所服务的目标和理想特征。作者分析了现有 benchmark 的常见缺陷，调查了各种构建 commonsense benchmarks 的方法，总结了 139 个 commonsense benchmarks。然而，作者指出现有 benchmark 存在的空缺和 commonsense 推理的方面，并提出了未来的建议。

    Feb, 2023

  • NovPhy：开放环境中物理推理的测试平台

    该研究旨在促进具备应对物理情境中异常情况能力的智能体的发展，通过开发一个新的测试平台 NovPhy 并在其中设计了 8 种不同类型的异常情境，并运用到 5 个常见的物理情境中，测试了人类、学习智能体和启发式智能体的表现，结果表明人类的表现远远超过智能体，并引发对如何设计更为智能的物理智能体的思考。

    Mar, 2023

  • IntPhys: 视觉直觉物理推理的框架和基准

    本论文提出了一项基于视觉任务的评估基准，以测试人工系统对于宏观物体、运动、力等物理理解的程度，同时介绍了两个旨在以无监督的方式学习直观物理的深度神经网络系统，并通过与人类数据的比较，对下一帧预测建筑的潜力和限制进行了新颖的结果分析。

    Mar, 2018

  • 物理推理的前向预测

    研究使用基于对象或像素表现的模型来改进 PHYRE 基准测试中复杂的物理推理任务的性能，发现前向预测模型可以提高复杂任务的性能，但这种改进取决于测试任务是否是训练任务的变化，更好的像素准确性并不一定导致更好的物理推理性能。

    Jun, 2020

  • 开放世界中的物理推理

    本文研究开放世界推理，用 Prolog 实现了一个容器微世界的推理器。

    Jan, 2022

  • 用心理测量评估通用人工智能

    人工智能（AI）从任务特定到通用系统的发展，逐渐趋向于与人类的多样性。为了确保 AI 系统得到充分的评估，本文建议将心理测量学作为评估通用 AI 的核心，并提出相应的框架。

    Oct, 2023

  • 关于模拟直觉物理模型的机器学习方法的调查

    本文综述了基于直觉物理的深度学习方法在物理推理方面的最新进展和技术。将现有的深度学习技术分为三个方面的物理推理，并将其组织为三种一般的技术方法，提出了该领域的六个分类任务。最后，本文强调了当前领域的挑战并提出了一些未来的研究方向。

    Feb, 2022

  • 智能的度量

    该研究介绍了智能系统自识别反馈信号的必要性，提出了基于算法信息理论的智能定义，阐明了人工智能基准测试的重要性，介绍了一个使用人类内在先验近似设计的基准测试集 ——ARC，用于度量具有高通用流体智能的人工智能系统与人类的综合智能的比较。

    Nov, 2019

  • I-PHYRE：交互式物理推理

    为了解决现有学习算法与人类表现之间的差距并强调增强代理人的交互式物理推理能力的重要性，我们介绍了 I-PHYRE 框架，该框架要求代理人同时展示直觉的物理推理、多步规划和原位干预，通过代表性场景的互动促进学习。

    Dec, 2023

  • PHYRE：物理推理的新基准

    这篇研究论文介绍了 PHYRE 物理推理基准测试，旨在鼓励开发机器学习算法以在简单的经典力学 2D 物理环境中进行样本高效且泛化良好的推理。测试表明，现有的算法在 PHYRE 上表现不佳。希望这个基准测试能够鼓励开发出学习高效有用的物理模型的新型样本高效智能体。

    Aug, 2019