Jan, 2024

基于物理驱动的被动软体的隐式神经表示

PDF
TL;DR通过使用一个可微分的、准静态的、基于物理学的仿真层，以神经网络参数化为特征，本论文利用活动软体对形态施加内部驱动机制。关键贡献是通过定义一个函数实现空间点在材料空间中到激励值的连续映射，从而提供了捕获信号主导频率的特性。扩展了隐式模型到下颚运动学，特别是面部动画的情况，并展示了能够可靠地复制用高质量捕捉系统记录的面部表情的能力。我们将该方法应用于体积软体、人体姿势和面部表情，证明了对艺术家友好的属性，如在测试时对潜在空间的简单控制和解析度不变性。
发现论文，激发创造
  • 一种由表情和风格驱动的隐式物理人脸模型

    基于数据驱动的隐式神经物理模型，我们提出了一种新的面部模型，可以分别通过表情和风格进行驱动，并且可以实现从一个角色到另一个角色的风格转移和不同角色之间的风格混合。

    Jan, 2024

  • 通过可控局部变形场实现的隐式神经头部合成

    通过基于部件的隐式形状模型，我们设计了一种可以控制 3D 头像的方法，可以推断局部语义 Rig，包括面部特征，通过局部控制丰富了隐式形变字段，使其具有更强的局部控制性能。

    Apr, 2023

  • LatentHuman：人体形态和姿势分离的潜在表征

    本文提出了一种基于运动学模型的神经隐式表示方法，可以同时处理人体的形状和姿态，实现了更好的三维重建效果和任务控制能力。

    Nov, 2021

  • 面向人形机器人的积极推断身体感知和动作

    通过在仿生系统中应用主动推理身体感知和行为模型，能够在机器人上实现适应性身体感知和动作，并分析该方法适用于现实世界的交互。

    Jun, 2019

  • 用显式变形场增强隐式神经形状表示

    本文探讨一种新方法 -- 变形感知正则化 -- 以更好地学习隐式神经表示形式，使其对隐式表示形式的变形具有可接受的合理性，并演示了其在如柔性变形等问题中的良好效果。

    Aug, 2021

  • 解剖学约束的隐式人脸模型

    提出一种新的使用隐式表示的解剖受限人脸模型，通过联合学习面部解剖和皮肤表面来建模，可以作为传统混合形状模型的可替代方案，并应用于形状拟合、形状编辑和性能重定向等任务。

    Dec, 2023

  • 学习物理知识驱动的软体机器人操作仿真模型：以电致弹性体致动器为例的案例研究

    本研究提出了一种基于不同 iable simulator 的软致动器物理可行模型的训练方法，其通过与有限元方法结合来实现闭环控制，基于该模型构建 MPC 控制器，实现对硬币的拉动并获得了低于 5％的仿真误差。

    Feb, 2022

  • 神经身体：使用结构化潜在编码的隐式神经表示，用于动态人体新视角综合

    本文提出了 Neural Body，一种人体新的神经表示方法，通过假设不同帧的学习神经表示共享相同的潜在代码来集成视频帧之间的观察，从而解决了高度稀疏的视图的表征学习问题，并在多视点数据集 ZJU-MoCap 上得到了验证。

    Dec, 2020

  • 可微分的节肢动物体模拟

    本文提供了一种高效的可微分仿真方法，实现了关节体动力学与深度学习框架的集成，以及运用于操作关节体的神经网络的基于梯度的优化。通过空间代数和伴随方法，我们导出了前向动力学的梯度，并发现此方法比自动微分工具快一个数量级，且在仿真过程中只需保存初始状态即可，从而将内存需求减少了两个数量级。我们在多个应用中演示了关节体高效可微分动力学的实用性，特别是在强化学习、控制和逆问题方面，通过我们的方法实现的基于梯度的优化加速了收敛一个数量级以上。

    Sep, 2021

  • 利用空间连续的神经隐式表示学习关节物体的分部运动

    通过神经网络模型，本研究提出一种新的框架来明确分解关节物体的部分运动，通过预测部分表面上的点的转换矩阵，使用空间连续的神经隐式表示来平滑地建模部分运动，在对不同类别的关节物体进行实验的数量化和质量化结果证明了我们的方法的有效性。

    Nov, 2023