Jan, 2024

将人脸交互图网络推广至真实场景

PDF
TL;DR准确模拟真实世界物体动态对于机器人、工程、图形和设计等各种应用至关重要。我们提出了一种减少运行基于图网络的学习模拟器所需内存的方法。基于这种内存高效的模拟模型，我们提供了一种感知界面，以可编辑的 NeRFs 形式将真实世界场景转换为图网络模拟器可以处理的结构化表示。我们展示了我们的方法使用的内存远远少于以前基于图网络的模拟器同时保持其准确性，并且合成环境中学习的模拟器可以应用于从多个摄像机角度捕捉的真实世界场景，从而扩展了学习模拟器在仅在推断时有感知信息的设置中的应用。
simulating real world object dynamicslearned simulatorsgraph networksmemory-efficient simulation modelperceptual interface
发现论文，激发创造
  • 在大规模场景和视觉中，学习隐式形状的刚体模拟器

    使用学习的有界几何网络的刚体模拟器，通过从多视角图像中提取有界距离函数（SDFs），首次演示了 GNN 模拟器在数百个物体和 110 万个节点的场景中的可扩展性。

    May, 2024

  • 利用图网络学习模拟复杂物理现象

    本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

    Feb, 2020

  • 利用物理传感器观测基于图模型的网络模拟器校准

    该论文提出一种结合实际感知信息的模型，利用点云数据预测可变形物体的网格状态，实现对物理模拟的准确长期预测，尤其是在存在未知物质属性等不确定性的情况下。

    Feb, 2023

  • 使用图嵌入网络学习基于网格的仿真

    MeshGraphNets 是一种利用图神经网络学习网格化仿真的框架，具有自适应性和高效性，能够应用于广泛的物理系统仿真任务。

    Oct, 2020

  • 粒子模拟的可扩展图网络

    本文提出了一种能够在单个 GPU 上运行高精度大规模 N 粒子动力学模拟的机器学习方法，将完全连接的交互图转换为分层图以减少复杂度和边数。

    Oct, 2020

  • 基于约束的图网络模拟器

    本文介绍了一个基于约束的机器学习模拟框架，使用图神经网络实现约束函数，并通过求解优化问题计算未来预测，可应用于多种具有挑战性的物理领域，提供了传统模拟和数值方法的归纳偏差。

    Dec, 2021

  • 潜在的任务特定图网络模拟器

    利用最近的贝叶斯元学习方法将网格模拟作为元学习问题来处理，通过利用上下文数据和处理不确定性来提高图网络模拟器对新场景的适应性，结合运动原语实现高效的全轨迹预测，并验证了该方法的有效性。

    Nov, 2023

  • 可学习的物理引擎图网络用于推理和控制

    介绍了一种基于图网络的学习模型，实现了对象和关系为中心的表示的归纳偏差，从而能够更准确地预测复杂动态系统的行为，并支持在线与离线规划。

    Jun, 2018

  • NeRF2Real: 使用神经辐射场实现从仿真到真实世界的视觉引导双足运动技能迁移

    使用 Neural Radiance Field 方法和物理仿真器在野外环境下通过视觉感知实现机器人的球推导航技能。

    Oct, 2022

  • 基于热力学的神经网络用于物理现实混合现实

    本文介绍了一种基于深度学习的方法，用于计算混合现实中用户实时交互引起的（可能是非线性和耗散性的）可变形物体的动态响应，以保证虚拟世界的正确性和真实性。两个具体示例证明了该方法的高效性。

    Oct, 2022