Jul, 2020

利用神经网络增强可微分模拟器以弥合仿真到现实的差距

PDF
TL;DR在本研究中，我们提出了一种可微分的模拟架构，用于关节刚体动力学，使得可以在计算的任何时刻利用神经网络来增强分析模型。该架构通过基于梯度的优化，在真实数据集和 sim2sim 转移应用的初步实验中，有效地识别模拟参数和网络权重，同时通过随机搜索方法克服了不良局部最优解。
differentiable simulationarticulated rigid-body dynamicsneural networksoptimizationsim2sim transfer
发现论文，激发创造
  • NeuralSim：用神经网络增强可微分模拟器

    本文介绍了一种基于神经网络的不同 iable rigid-body 物理引擎来学习动力学关系以及对其进行自动发现，替代了常规的解析式建模，使用神经网络能加速基于模型的控制架构，提高建模和控制的准确度。

    Nov, 2020

  • 使用随机神经网络增强物理模拟器：平面推动和弹跳案例研究

    通过在运用神经网络建立物理仿真器的基础上对不确定因素的模拟，可以提高对机器人状态估计、规划与控制领域的应用性能，本文基于改进的解析刚体模拟器，开发了针对平面推动和球体反弹两种情景的仿真器，并采用神经网络学习模拟不确定因素，与符号式确定性模拟器相结合，使神经网络可具备省资源、通用性高等特性以提高性能。这种将符号式确定性模拟器与可学习、随机性神经网络结合起来的方法在真实标准测试中优于纯解析方法和纯学习方法，相比采用高斯过程技术的方法而言，速度更快，泛化能力更强，能够描述物体轨迹的复杂分布。

    Aug, 2018

  • 可微分物理引擎实现控制电缆驱动机器人的真实到仿真转换

    本文提出了一种基于实体机器人和物理模拟引擎相结合的 Real2Sim2Real 方法，可以在有限的数据下训练物理模拟引擎以发现转移的运动策略，并通过采用轨迹分段技术，计算接触点的非零梯度，并避免了训练过程中的梯度评估冲突。该方法在三根杆条张力机器人中得到了证明和评估

    Sep, 2022

  • 可微分的节肢动物体模拟

    本文提供了一种高效的可微分仿真方法，实现了关节体动力学与深度学习框架的集成，以及运用于操作关节体的神经网络的基于梯度的优化。通过空间代数和伴随方法，我们导出了前向动力学的梯度，并发现此方法比自动微分工具快一个数量级，且在仿真过程中只需保存初始状态即可，从而将内存需求减少了两个数量级。我们在多个应用中演示了关节体高效可微分动力学的实用性，特别是在强化学习、控制和逆问题方面，通过我们的方法实现的基于梯度的优化加速了收敛一个数量级以上。

    Sep, 2021

  • 利用图网络学习模拟复杂物理现象

    本研究提出了一种基于图神经网络的模拟器框架，通过学习信息传递来模拟包括流体、刚性固体和可变形材料在内的各种复杂物理现象，模型从单一粒子预测到测试时的数千个粒子，并且能够处理不同的初始条件和数万个时间步骤，具有较强的可靠性与预测能力。

    Feb, 2020

  • 从 RGBD 视频推断关节刚体动力学

    本研究提出通过使用逆向渲染和可微分仿真相结合的方法，从深度或 RGB 视频中创建真实世界关节机构的数字孪生，该方法可以自动发现关节类型和估计其运动学参数，并调整整个机构的动态特性以实现物理上准确的仿真。

    Mar, 2022

  • 基于热力学的神经网络用于物理现实混合现实

    本文介绍了一种基于深度学习的方法，用于计算混合现实中用户实时交互引起的（可能是非线性和耗散性的）可变形物体的动态响应，以保证虚拟世界的正确性和真实性。两个具体示例证明了该方法的高效性。

    Oct, 2022

  • 域随机化：从仿真到真实世界的深度神经网络转移

    探究了一种称为 “Domain Randomization” 的技术，该技术使用非真实随机纹理来训练深度神经网络对象定位器，使得该定位器在真实环境中表现出色，并且可以应用于机器人控制中。

    Mar, 2017

  • 动力学增强神经对象的可微物理仿真

    通过深度学习神经辐射场以及可微分管道来实现物体动态学建模并进行碰撞检测，拥有优化机器人抓取和操纵等功能，从而实现更好的视觉和动力学准确性。

    Oct, 2022

  • 从全局角度重新审视可微分仿真优化

    本文研究了 differentiable simulation 在含有刚体和可变形物体的情景下所面临的挑战，提出了一种使用贝叶斯优化和半局部 “跳跃” 的方法来获得全局搜索方法的方案，并在模拟实验和实际机器人实验中验证了该方法的有效性。

    Jun, 2022