ACLJun, 2021

PROST: 物体的时空物理推理

PDF
TL;DR我们提出了一个名为 PROST 的新探测数据集，用于探索物体的物理推理。通过分析我们发现，目前最先进的预训练模型在物理推理方面仍存在局限性，这表明预训练模型对于物理交互的理解能力受到了真实世界经验的限制，因此我们希望通过强调这些局限性来促进具有人类物理世界理解能力的模型的发展。
prostphysical reasoningmaskingpretraining modelsreal world experience
发现论文，激发创造
  • 用反常识情境评估物理推理能力

    通过创建 CConS 数据集，我们研究物理常识如何影响语境化尺寸比较任务，并测试多个遮蔽语言模型和生成模型的能力，结果表明大型语言模型可以使用前置词推断大小关系，但他们因其固有的物理常识而无法使用动词，从而做出错误的判断

    Jun, 2023

  • 开放世界中的物理推理

    本文研究开放世界推理，用 Prolog 实现了一个容器微世界的推理器。

    Jan, 2022

  • ProtoQA: 一个面向原型常识推理的问答数据集

    本文介绍了一个新的问答数据集，用于训练和评估人工智能系统在典型情况下的常识推理能力，数据集采用了家庭智慧问答秀中的问题集合，模型评估使用了生成式评估任务，并在多个基线模型中提出了挑战性的性能评估。结果表明，人类表现仍然超过模型成绩，支持任务的挑战性。

    May, 2020

  • 物理推理 AI 的基准测试

    物理推理是开发通用人工智能系统的关键因素，本论文旨在提供现有基准的综述及其解决方法，并提出了衡量人工智能系统物理推理能力的统一观点。我们选择了设计用于测试物理推理任务中算法性能的基准。虽然每个选定的基准都提出了独特的挑战，但它们的集合为具有各种物理推理概念可测量技能水平的通用 AI 代理提供了全面的实践场所。因此，这些基准集合相较于旨在模拟现实世界并交织其复杂性和许多概念的综合基准具有优势。我们将所呈现的一组物理推理基准分为子类别，以首先在这些组上对更窄的通用 AI 代理进行测试。

    Dec, 2023

  • 物理基础的视觉语言模型用于机器人操作

    通过在 36.9K 个常见家居物体的数据集 PhysObjects 上针对视觉外观捕捉人类先验知识，我们提出了一种基于物理概念的视觉语言模型（VLM），并将其与基于大语言模型的机器人规划器结合使用，取得了在涉及与物理物体概念推理相关的任务中相比不使用物理概念的基线模型实现了改进的规划性能的结果。此外，在真实机器人上展示了物理概念视觉语言模型的好处，提高了任务成功率。

    Sep, 2023

  • 基于部件的概念、关系和物理推理的基准测试：PTR

    介绍一份新的大规模诊断视觉推理数据集 PTR，包含约 70k 的 RGBD 合成图像与人工生成的 70k 个问题，并包含语义实例分割、颜色属性、空间几何关系和物理属性的注释。通过在该数据集上测试现有的视觉推理模型，发现这些模型在细粒度概念、丰富的几何关系和更复杂的物理等方面仍存在错误，此数据集将打开基于部分的推理的新机遇。

    Dec, 2021

  • ESPRIT: 解释物理推理任务的解决方案

    提出了一种用于定性物理常识推理的 ESPRTI 框架，可以使用解释性自然语言描述物理事件，从而灵活地适应未被训练过的场景和任务。

    May, 2020

  • PACS：用于物理视听常识推理的数据集

    通过构建音视频共同存在的数据集 PACS，我们首次衡量了人类执行物理力学任务的准确性，并证明了多模态（多感官）推理对于物理常识推理的重要性。

    Mar, 2022

  • 利用具有动态感知能力的模型进行物理推理

    通过自我监督的信号增强奖励价值，将模型训练出了刻画两个物理场景间相似度的能力，从而在 PHYRE 基准测试中显著提升了表现。

    Feb, 2021

  • SpartQA：面向空间推理的文本问答基准

    本文提出了一个自然语言文本中空间推理的问答基准，其中包含更现实的空间现象，并且挑战最先进的语言模型。我们提出了一种远距离监督方法来改善这个任务。具体来说，我们设计语法和推理规则来自动生成视觉场景的空间描述和相应的问答配对。实验证明，进一步预训练语言模型对这些自动生成的数据显著提高了语言模型对空间理解的能力，从而有助于更好地解决两个外部数据集，即 bAbI 和 boolQ。我们希望这项工作能够推动更复杂的文本空间推理模型的研究。

    Apr, 2021