CVPRApr, 2024

基于语言嵌入特征场的物性理解

PDF
TL;DR计算机通过视觉能否感知物体的物理属性？我们提出了一种利用图像集合对物体的物理属性进行密集预测的新方法，通过借鉴人类如何通过视觉进行物理推理的方式，利用大型语言模型为每个物体提出候选材料，然后构建一个嵌入语言的点云，并利用零样本核回归方法估计每个三维点的物理属性，我们的方法准确、无需注释，并适用于开放世界中的任何对象。实验证明了该方法在各种物理属性推理任务中的有效性，如估计常见物体的质量以及摩擦和硬度等其他属性。
发现论文，激发创造
  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • 连接外观和触感：关联物理材料的视觉和触觉属性

    该研究使用 118 个不同织物的颜色、深度图像数据和高分辨率触摸数据，借助 CNN 模型联合训练视觉和触摸数据，从而记录织物的物理性质，预测织物外观和触感特征，展示了这一训练方法的有效性。

    Apr, 2017

  • 语言模型能够理解物理概念吗？

    该论文研究了自然语言模型是否能理解物理概念，并设计了一个基准测试 VEC 来探究视觉和具身概念。结果表明，视觉增强的语言模型，如 CLIP 和 BLIP，能够理解具身概念，而通过蒸馏方法将具身知识转移给 LMs 的性能也相当可观。

    May, 2023

  • 基于具体性的合集模型用于名词属性预测的可视化

    本文提出了一种利用图像来补充语言模型信息的方法，并在排名任务中验证了该模型在名词属性预测上的优越性，相较于仅使用文本的语言模型。

    Oct, 2022

  • 基于物体中心预测模型的内在物理概念发现

    本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

    Mar, 2023

  • 利用人工智能和机器人实现流体属性预测

    本文提出了一种纯视觉方法来估计液体黏度，利用流体振荡的行为与黏度直接相关的事实，通过使用 3D 卷积自动编码器学习视频中不同流体振荡模式的潜在表示，从而在视觉上推断流体的类别或动力黏度。

    Aug, 2023

  • ComPhy: 从视频中对对象和事件进行组合式物理推理

    本文介绍 ComPhy 数据集，该数据集含有一些移动和交互对象的视频，用于评估模型是否能够理解隐藏的物理性质，实验结果表明，一些当前先进的视频推理模型无法捕捉这些隐藏的属性。此外，本文进一步提出了一种名为 Compositional Physics Learner（CPL）的神经符号框架，该框架将视觉感知、物理特性学习、动态预测和符号执行结合成一个统一的框架，以识别对象的物理特性并预测它们的动态以回答问题。

    May, 2022

  • 基于视觉和触觉数据的触觉理解深度学习

    本文提出了一种方法，通过视觉和物理交互数据分类表面，以使机器人更好地了解物体的触觉特性；通过统一学习物理交互和视觉观察特征的方法，使用深度神经网络模型实现更准确的触觉分类。

    Nov, 2015

  • 使用主动感知运动策略学习物理特性

    基于图像颜色的地形物理特性知识可以帮助制定高效的机器人行动计划，但是与图像分类不同，人类对图像区块进行物理特性标注不直观。为了克服没有标注数据的困难，我们提出一种方法，通过自监督标记在真实世界遍历中由机器人拍摄的图像，结合在仿真中训练的物理属性估计器。为了确保准确标记，我们引入了主动感知驱动策略（ASMP），它们被训练用于探索提高物理参数估计准确性的行动行为。我们展示了使用少量真实世界遍历数据训练的视觉系统准确预测物理参数。该训练好的系统即使使用由固定在四足机器人行走地面上的相机采集的数据进行训练，也能够稳健地在被无人机拍摄的顶部图像上工作。

    Nov, 2023

  • 通过机器人操作和物体测量数据库实现物体属性的交互学习

    该研究提出了一种通过机器人操控和物体测量数据库自动提取物理物体属性（如材料组成、质量、体积和刚度）的框架。实验评估表明，与基线相比，该算法选择有效的探索动作，并在没有更多学习空间时正确终止实验。

    Apr, 2024