CVPRMay, 2022

使用学习的物理仿真和功能预测修复功能失常的物体

PDF
TL;DR该论文研究了修复 3D 物体的问题。作者提出了一个包含大约 5k 个物体的数据集 FixIt，并且设计了一个新框架 FixNet 来模拟人类的心理模拟过程，该框架包含感知模块、物理动态预测模块和功能预测模块，实验证明该框架的表现优于基准模型且具有良好的泛化性能。
malfunctional objectsfixit datasetfixnet frameworkphysical interactionsfunctionality prediction
发现论文，激发创造
  • 3D-PhysNet: 学习非刚性对象变形的直观物理

    本文提出了基于 3D-PhysNet 框架的物理建模方法，可以对三维物体在外力作用下的变形进行快速预测，并具有材料属性的泛化性，并且通过深度变分自编码器结合敌对训练的方式进行了材料属性的编码，以及通过级联结构对部分视图下的物体变形进行预测。

    Apr, 2018

  • 学习物理模型的视觉定位

    该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

    Apr, 2020

  • 物体中心视觉预测的物理动态学习

    本研究提出了一种无监督的物体中心预测模型，通过学习物体之间的视觉动态来进行未来预测，实验结果表明该模型在生成视觉质量和物理可靠性方面优于现有技术。

    Mar, 2024

  • DensePhysNet: 通过多步动态交互学习密集物理物体表示

    本文提出 DensePhysNet 对于机器人物体操纵的物理表示的学习方法，通过动态交互序列和深度预测模型学习密集的像素表示，可以直接解码物理物体属性，并在下游任务中实现更精确和更有效的操纵。

    Jun, 2019

  • Physion++：对需要在线推理不同物理属性的物理场景理解进行评估

    提出了一种名为 Physion++ 的数据集和评测基准，旨在严格评估视觉物理预测在人工系统中的表现，其中预测依赖于对场景中物体的潜在物理属性的准确估计，结果发现，所有现有的先进模型都没有像人类一样学习进行物理预测。

    Jun, 2023

  • 基于三维姿势反馈的身体锻炼

    通过 Graph Convolutional Network 框架，从用户姿势序列中学习关节运动的关系，能够对个人的自我康复锻炼和体育锻炼中出现的错误进行准确的识别和纠正。

    Aug, 2022

  • 基于面向对象预测和规划的物理交互推理

    本研究提出了一种无需直接监督对象属性即可实现学习物理场景的物体中心表征的方法，我们的模型通过联合学习感知函数，物理交互函数和渲染函数，可以精确地预测物理变化并具有可操作性的直观物理表现。

    Dec, 2018

  • 从数据中学习通用的物理人脸模型

    通过从大规模三维人脸数据集中学习而非模拟的方式，我们提出了一种通用的基于物理的人脸模型，使物理基础的人脸动画更容易使用。一旦训练完成，我们的模型可以快速适应任何未见过的身份，并自动生成一个可供动画使用的物理人脸模型。拟合过程非常简单，只需提供一个三维人脸扫描，甚至一个人脸图像。同时，我们提供直观的动画控制以及角色重定向的能力。所得到的动画能够具备碰撞避免、重力、麻痹、骨骼重塑等物理效果。

    Feb, 2024

  • 基于单一图像的物理兼容三维物体建模

    通过计算框架将单个图像转换为 3D 物体，并通过嵌入物理兼容性来优化物体形状，提高 3D 模型的物理真实性，适用于动态模拟和 3D 打印。

    May, 2024

  • CoPhy: 计算物理动力学的反事实学习

    研究提出了一个新的问题，即如何从视觉输入中进行物体力学的反事实学习，并提出了一种用于在反事实情境下学习物理动态的模型。通过学习对初始条件进行干预时对其结果的影响，和对潜在因素的学习，该网络可以捕捉到物理环境的潜在特性，从而具有超越人类表现的预测能力。

    Sep, 2019