ICLRDec, 2023

使用分层接触网格变换器学习灵活体碰撞动力学

PDF
TL;DR本文介绍了一种使用层级网格结构的接触网格变换器（HCMT），该变换器能够学习身体空间上远离的位置之间的长程依赖性，并且能够快速将碰撞效应传播到远方位置。通过对多个基准数据集的性能比较，结果表明 HCMT 相比现有方法能够显著提供性能改进。
mesh-based graph neural networkflexible body dynamicshierarchical mesh structurescollision effectsperformance improvements
发现论文，激发创造
  • 网格 Graphormer

    本文提出一种名为 Mesh Graphormer 的图卷积强化 Transformer，可从单张图像中重建 3D 人体姿势和网格。实验结果表明，该方法在多个基准测试中显著优于先前的最先进方法。

    Apr, 2021

  • 3Mformer：多阶多模态 Transformer 用于骨骼动作识别

    该研究提出了一种使用超图模型的多阶多模态转换器来识别骨骼动作，并包括更高级别的运动模式及可训练的网络，在骨骼活动识别中优于 GCN、transformer 和超图等现有模型。

    Mar, 2023

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • 用于动作识别的分层图卷积骨架变换器

    本文提出了一种名为 Hierarchical Graph Convolutional skeleton Transformer (HGCT) 的新型架构，通过引入 Disentangled Spatiotemporal Transformer 块，利用全局时空注意力和本地信息增强相互协同，以解决基于骨架的动作识别中的邻域限制和空间时间特征表示相互干扰等问题，同时具有计算效率高、解释性好等优点。

    Sep, 2021

  • 一个轻量级的图变换网络用于从 2D 人体姿势重建人体网格

    本文提出了一种基于姿势的轻量级方法 GTRS，它可以从 2D 人类姿态重构人类网格。该方法利用图变换器来提取结构化和隐式的关节相关性以及网格模板来重构人类网格，从而大大提高了模型的效率和泛化性能。在 Human3.6M 和 3DPW 数据集上进行广泛的评估，GTRS 方法在仅使用 10.2％ 的参数和 2.5％ 的 FLOPs 的同时，比 SOTA 基于姿态的 Pose2Mesh 方法实现了更好的准确性。

    Nov, 2021

  • DDT：一种基于扩散驱动的基于 Transformer 框架的视频人类网格恢复方法

    本文提出了一种基于扩散驱动变换器的视频人体网格复原框架 (DDT)，能有效地提高运动平滑性和时间连续性，并且具有较高的效率和因果性，能够广泛应用于各种实际场景。

    Mar, 2023

  • 柔性神经表示用于物理预测

    提出了一种分层粒子物体表示和基于分层图卷积的神经网络 HRN，可以准确预测和生成复杂碰撞和非刚性变形的物理动力学，具有潜在的在计算机视觉、机器人和计算认知科学领域中使用的下一代物理学预测模型的潜力。

    Jun, 2018

  • 多人姿势预测的轨迹感知身体交互变换器

    本文提出了一种称之为 TBIFormer 的新型多人姿态预测框架，利用社交身体相互作用自我关注机制和轨迹感知相对位置编码来高效地建模身体部位间的交互影响，实验结果表明，在短时和长时预测上，该方法在 CMU-Mocap、MuPoTS-3D 和合成数据集方面，都显著优于现有的其他方法。

    Mar, 2023

  • 多视角人体网格翻译器

    本文提出一种新的多视角人体网格翻译器（MMT）模型，通过利用多视角图像和视觉转换器来解决单视角方法的病态问题，同时在编码和解码阶段融合不同视角的特征，并通过交叉视图对齐来确保令牌集中于人类姿势和形状。实验表明，MMT 模型在人体网格恢复任务上表现出很大优势，特别是在具有挑战性的 HUMBI 数据集上的 MPVE 方面，优于现有的单视角或多视角模型，提高 28.8％。

    Oct, 2022

  • 学习动态四面体进行高质量的说话头部合成

    通过神经网络对显式动态网格进行编码的混合表示方法 Dynamic Tetrahedra (DynTet) 提供了一种有效的几何一致性，解决了在准确建模复杂面部变形方面缺乏显式几何约束的困境。与以往的工作相比，DynTet 在保真度、口型同步和实时性能等多个指标上表现出了显著的改进，同时还能输出动态网格并有很多新兴应用的潜力。

    Feb, 2024