PHASE: 机器社交感知中基于物理基础的抽象社交事件

AAAIMar, 2021

PHASE: 机器社交感知中基于物理基础的抽象社交事件

PHASE: PHysically-grounded Abstract Social Events for Machine Social Perception

Aviv Netanyahu, Tianmin Shu, Boris Katz, Andrei Barbu, Joshua B. Tenenbaum

TL;DR通过物理环境模拟与多智能体互动，构建 PHASE 数据集，以此设计社会认知任务和社会预测任务，并引入基准模型 —— 贝叶斯逆向规划方法，验证通过该方法可以更好的识别多智能体的复杂社会互动行为。

Abstract

The ability to perceive and reason about social interactions in the context of physical environments is core to human social intelligence and human-machine cooperation. However, no prior dataset or benchmark has systematically evaluated physically grounded perception of complex social

physically grounded perception social recognition task bayesian inverse planning agent interaction phase dataset

发现论文，激发创造

I-PHYRE：交互式物理推理

为了解决现有学习算法与人类表现之间的差距并强调增强代理人的交互式物理推理能力的重要性，我们介绍了 I-PHYRE 框架，该框架要求代理人同时展示直觉的物理推理、多步规划和原位干预，通过代表性场景的互动促进学习。

Dec, 2023

Physion：人类与机器在视觉中的身体动作预测评估

本文介绍了 Physion 这一用于评估视觉算法理解真实世界物理动态能力的数据集和基准测试，通过对一系列模型的基准测试发现，生成对象中心表征的视觉算法通常优于未生成该表征的算法，但仍远远落后于人类的表现。我们公开发布了所有数据和代码，以便全面重现这一基准测试，并能够系统地评估视觉算法理解物理环境的进展。

Jun, 2021

PhyScene: 用于实体智能的可供物理交互的 3D 场景合成

通过与物理互动功能的先进集成，PhyScene 可有效生成具有可互动性的物理场景，与现有的场景合成方法相比，明显优势明显，有望在促进智能体在互动环境中获得丰富技能方面发挥巨大潜力。

Apr, 2024

SPACE: 三维环境中物理交互和因果学习模拟器

发展了一种名为 SPACE 的模拟器和数据集，它旨在生成具有日常物体互动特征的合成视频数据集，并使用物理基于模型进行深度学习的研究

Aug, 2021

认知机器人的常识场景语义：走向基于视觉 - 运动相互作用的根源

本文提出了一个基于人类重心的空间和运动表示的低层次视觉处理与高层次人类中心的空间和运动表示相结合的方法来解决物体交互和室内运动等问题。

Sep, 2017

多模态模拟环境下的情境化基础建设

本文认为模拟平台使得新型的具身空间推理得以实现，它由物体和事件语义的形式化模型所促进，这使得开放式、实时环境的连续定量搜索空间变得易处理。通过示例，本文说明了一种基于语义的人工智能系统如何利用游戏引擎提供的精确数值信息来执行关于物体和事件的定性推理、从数据中学习新概念、与人类进行交流以提高其模型并展示其理解。本文认为模拟环境，特别是游戏引擎，整合了许多不同的 “模拟” 概念和许多不同的技术，为开发机器和人类智能方面的人工智能系统和工具提供了高效的平台.

Feb, 2019

为体现式（机器人）交互打下动态空间关系的基础

本文提出了一个计算模型来处理在机器人交互设置中发生的动态空间关系，并演示了该模型将计算认知语义和普通空间表征以及推理的两个研究领域相结合的效果。

Jul, 2016

IntPhys: 视觉直觉物理推理的框架和基准

本论文提出了一项基于视觉任务的评估基准，以测试人工系统对于宏观物体、运动、力等物理理解的程度，同时介绍了两个旨在以无监督的方式学习直观物理的深度神经网络系统，并通过与人类数据的比较，对下一帧预测建筑的潜力和限制进行了新颖的结果分析。

Mar, 2018

学习人 - 场景交互生成 3D 场景

本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

Dec, 2020

SAMPLE-HD: 同时动作和运动规划学习环境

本文提供了一个新的环境，用于学习交互式推理的视觉和行为方面的模拟，以掌握家庭用品的操作技能，并利用 SAMPLE-HD 环境生成场景、语言指令和训练路径。

Jun, 2022