Dec, 2020

全局一致非刚性重建的神经形变图

PDF
TL;DR本文提出一种使用深度神经网络建模变形图表达非刚性物体的全局一致变形跟踪和三维重建方法，能够在快速运动或时间不连续记录的情况下实现稳健的跟踪，并在明确的视点一致性和图形表面一致性约束下全局优化神经变形图进行自监督训练，同时利用隐式多层感知器形态表示对物体的形状进行优化，实验表明其效果优于现有的非刚性重建方法。
发现论文，激发创造
  • 物理编码图神经网络用于接触下形变预测

    机器人学中，通过物理编码的图神经网络，建模刚性网格与可变形网格间的动力学关系，以精确理解接触过程中的物体变形，推动机器人模拟与抓取研究的进展。

    Feb, 2024

  • 神经非刚性跟踪

    该研究提出了一种新颖的端到端可学习的、可微的非刚性运动跟踪器，通过学习的鲁棒优化实现了最先进的非刚性重建。

    Jun, 2020

  • 使用局部图神经网络学习基于视觉的可变形物体重新排列

    通过建立 keypoints 和它们之间的相互作用的一组动态图表达的新颖表示策略，提出一种在视觉观测的情况下模拟可变形对象重新排列动态并推断最佳操纵动作的方法。新方法在模拟实验中显示出优越的表达能力，在各种可变形重新排列任务中的成功率远高于现有方法（平均 96.3%），同时更轻量且推理时间较现有方法短 60%。并且该方法在多任务学习场景中表现良好，并通过仅微调关键点检测器可以转移到实际应用中，平均成功率为 95%。

    Oct, 2023

  • 用于单目非刚性物体重建的神经参数高斯模型

    通过引入神经参数高斯（NPGs）模型，本文通过两阶段的方法来重建动态物体，即先学习对象的变形，再通过优化三维高斯模型来获得高质量的物体重建，从而在新视角中保持三维一致性，并在少量多视图线索的挑战性场景中取得优越的结果。

    Dec, 2023

  • HDM-Net: 通过学习变形模型的单目非刚性三维重建

    本篇论文提出了一种基于神经网络的混合变形模型网络 (HDM-Net) 来解决单目非刚性三维重建的问题，并利用多种状态下的知形状非刚性变形结构进行网络训练，通过纹理依赖表面变形、着色和轮廓等多种重建线索得到一个非常普适的结果。

    Mar, 2018

  • Procrustes 回归网络：从二维标注中学习非刚性物体的三维结构

    提出了一种新的神经网络训练框架，可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息，该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点，使用损失函数进行训练后，网络可以学习人类骨架和面孔等对象的 3D 结构，在测试过程中可以处理带有丢失入口的输入，实验证明该框架表现优异，即使底层网络结构非常简单，在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。

    Jul, 2020

  • DeepDeform: 半监督学习非刚性 RGB-D 重建

    利用数据驱动的方法进行三维重建非常困难，本文通过引入新的半监督策略，成功建立了一个拥有 400 个场景、超过 390,000 个 RGB-D 帧和 5,533 个面对面对齐帧对的数据集，然后利用这个数据集，提出了一个能够应对非常大的非刚性形变的深度学习方法，对比于其他方法，我们的结果优于现有的方法。

    Dec, 2019

  • 基于本地 GNN 的深度强化学习用于目标驱动的变形物体重新排列

    使用基于 GNN 的学习方法，通过两个表示图对图像中检测到的关键点进行编码。采用自注意力进行图更新和交叉注意力进行生成操作，实验表明该框架在多个 1-D 和 2-D 重排任务中非常有效，并且可以通过微调关键点检测器轻松转移到真实机器人中。

    Feb, 2023

  • SceNeRFlow: 时间一致的普适动态场景重建

    利用 SceNeRFlow 提出了一种基于 dynamic-NeRF 方法的时间一致的方式来重建非刚性场景，通过将形状和外观的变形分解成粗糙和微弱的两个组成部分，使得该方法可以处理大范围的运动，并且可以重建大规模运动场景。

    Aug, 2023

  • 神经形变金字塔的非刚性点云配准

    本文提出一种名为神经变形金字塔（NDP）的方法，通过分层的运动分解将非刚性运动表示为金字塔结构，具有多级非刚性运动分解以及 50 倍的速度提升，并在 4DMatch/4DLoMatch 基准测试中获得了先进的非刚性点云配准结果。

    May, 2022