利用物理传感器观测基于图模型的网络模拟器校准

ICLRFeb, 2023

利用物理传感器观测基于图模型的网络模拟器校准

Grounding Graph Network Simulators using Physical Sensor Observations

Jonas Linkerhägner, Niklas Freymuth, Paul Maria Scheikl, Franziska Mathis-Ullrich, Gerhard Neumann

TL;DR该论文提出一种结合实际感知信息的模型，利用点云数据预测可变形物体的网格状态，实现对物理模拟的准确长期预测，尤其是在存在未知物质属性等不确定性的情况下。

Abstract

physical simulations that accurately model reality are crucial for many engineering disciplines such as mechanical engineering and robotic motion planning. In recent years, learned graph network simulators produc

physical simulations graph network simulators point cloud data long-term predictions deformable objects

发现论文，激发创造

利用图网络学习模拟复杂物理现象

本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

Feb, 2020

将人脸交互图网络推广至真实场景

准确模拟真实世界物体动态对于机器人、工程、图形和设计等各种应用至关重要。我们提出了一种减少运行基于图网络的学习模拟器所需内存的方法。基于这种内存高效的模拟模型，我们提供了一种感知界面，以可编辑的 NeRFs 形式将真实世界场景转换为图网络模拟器可以处理的结构化表示。我们展示了我们的方法使用的内存远远少于以前基于图网络的模拟器同时保持其准确性，并且合成环境中学习的模拟器可以应用于从多个摄像机角度捕捉的真实世界场景，从而扩展了学习模拟器在仅在推断时有感知信息的设置中的应用。

Jan, 2024

潜在的任务特定图网络模拟器

利用最近的贝叶斯元学习方法将网格模拟作为元学习问题来处理，通过利用上下文数据和处理不确定性来提高图网络模拟器对新场景的适应性，结合运动原语实现高效的全轨迹预测，并验证了该方法的有效性。

Nov, 2023

基于约束的图网络模拟器

本文介绍了一个基于约束的机器学习模拟框架，使用图神经网络实现约束函数，并通过求解优化问题计算未来预测，可应用于多种具有挑战性的物理领域，提供了传统模拟和数值方法的归纳偏差。

Dec, 2021

使用图嵌入网络学习基于网格的仿真

MeshGraphNets 是一种利用图神经网络学习网格化仿真的框架，具有自适应性和高效性，能够应用于广泛的物理系统仿真任务。

Oct, 2020

学习物理模型的视觉定位

该论文提出了一种神经模型，同时基于物理学原理和视觉先验进行推理和预测，通过对粒子的估计预测物理参数，即视觉基础，并在刚体、可变形材料和流体的复杂环境中证明了它的有效性，允许模型在几次观察内推断出物理特性，从而快速适应未见过的场景并进行准确的未来预测。

Apr, 2020

PCGen: 用于激光雷达模拟的点云生成器

提出了 FPA raycasting 和 surrogate model raydrop 方法来解决 LiDAR 模拟器数据中的噪声和几何限制问题，并使用 SMPL 数据集对虚拟现实行人进行了仿真，利用这个方法进行目标检测模型的训练可以达到与实际数据训练模型类似的结果。

Oct, 2022

使用知识图谱在点云上进行 3D 场景图预测

应用常识知识图谱以提高室内场景点云的 3D 场景图预测准确度的实验研究表明，在外部常识知识和内部知识的交互应用中，通过消息传递的方法比最先进的算法提高了 15.0% 的场景图预测准确度和 7.96% 的内部知识，在每秒 10 帧的实际机器人环境中也进行了测试以展示模型的使用情况。

Aug, 2023

物理编码图神经网络用于接触下形变预测

机器人学中，通过物理编码的图神经网络，建模刚性网格与可变形网格间的动力学关系，以精确理解接触过程中的物体变形，推动机器人模拟与抓取研究的进展。

Feb, 2024

基于 GAN 的激光雷达强度模拟

开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

Nov, 2023