Oct, 2023

基于无标记运动捕捉的动态高斯点插值可以重建婴儿的运动

PDF
TL;DR利用动态高斯抖嗒实现稀疏无标记运动捕捉数据的易得到的精确 3D 追踪，为康复提供了便利。研究应用于婴儿和新生儿的可靠运动分析方法，通过改进场景的初始化，为各种临床人群提供了先进的运动分析工具，并重点关注婴儿的早期检测。
3d trackingrehabilitationmovement analysisneurodevelopmental disabilityinfants
发现论文，激发创造
  • 使用自适应图卷积网络建模三维婴儿动力学

    基于数据驱动的评估方法，通过提取婴儿的运动模式和应用图卷积网络，达到对婴儿神经发育的实际年龄预测，并提高了传统基于手动设计特征的机器学习基准。

    Feb, 2024

  • MD-Splatting：在高度可变形的场景中从 4D 高斯函数中学习度量变形

    准确的 3D 跟踪可以在机器人技术、增强现实和生成式人工智能方面推动新的应用。本研究引入了 MD-Splatting，一种用于在高度可变形场景中进行同时 3D 跟踪和新视角合成的方法。它通过学习一种变形函数来实现高质量的 3D 跟踪，并通过使用高斯重合法进行快速新视角合成。

    Nov, 2023

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • 高保真单目动态场景重建的可变形三维高斯模型

    提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染，在实时渲染的速度和渲染质量方面优于现有方法。

    Sep, 2023

  • 佩戴式运动传感器自动监测婴儿姿态和运动

    利用可穿戴式技术和机器学习算法实现对婴儿活动的自动记录和分类，有助于早期发现发育不良的婴儿并为神经发育障碍的预防和治疗提供新的方法。

    Sep, 2019

  • ManiGaussian: 多任务机器人操作的动态高斯溅射

    在这篇论文中，我们提出了一种名为 ManiGaussian 的动态高斯斑点方法，用于多任务机器人操作，该方法通过未来场景重建来挖掘场景动态性。我们首先制定了动态高斯斑点框架，推断高斯嵌入空间中的语义传播，利用语义表示来预测最佳机器人动作。然后，我们建立了一个高斯世界模型来参数化我们的动态高斯斑点框架中的分布，通过未来场景重建在交互环境中提供信息化监督。我们在 10 个 RLBench 任务的 166 个变体上评估了 ManiGaussian，并且结果表明我们的框架在平均成功率上比现有最先进方法提高了 13.1%。

    Mar, 2024

  • EgoGaussian: 从第一人称视频中使用三维高斯喷射实现动态场景理解

    使用 EgoGaussian 方法，通过 RGB egocentric input 可以同时重建 3D 场景和动态跟踪 3D 物体运动，并在具有挑战性的自然环境中表现优于之前的方法。

    Jun, 2024

  • 高斯喷洒式定位与建图

    使用单个移动单目或 RGB-D 相机，我们首次应用 3D 高斯扩散技术于增量 3D 重建。我们的同时定位与建图（SLAM）方法以高质量渲染作为所需的准确、高效跟踪和建图的唯一 3D 表示，通过几个创新实现连续重建高保真度的 3D 场景，包括通过直接优化对 3D 高斯器应用相机跟踪，利用高斯器的明确性质引入几何验证和规则化以处理增量 3D 密集重建中出现的模糊性，以及引入一个全面的 SLAM 系统，实现在新视角合成和轨迹估计中的最新结果，甚至对微小和甚至透明的物体进行重建。

    Dec, 2023

  • 通过压力分布分析实现婴儿运动分类 —— 为研究和临床实施提供更多价值

    本文研究了使用压力传感器将数据编码为算法以用于感知婴儿的细微运动模式。结果证明了压力传感器方案的潜力和准确性，可以在儿科领域大幅提高运动数据的质量和效率。

    Jul, 2022

  • SplatArmor：来自单目 RGB 视频的可动人体的关节高斯样贴片渲染

    我们提出了一种名为 SplatArmor 的新方法，通过在 3D 高斯函数中将参数化的人体模型 “装甲”，从而恢复出详细的、可动画的人体模型。我们的方法将人体表示为一组位于规范空间内的 3D 高斯函数，其关节扭曲通过在规范空间内任意位置扩展底层 SMPL 几何体的蒙皮来定义。为了考虑姿势相关效果，我们引入了一个 SE (3) 场，允许捕捉高斯函数的位置和各向异性。此外，我们提出了使用神经颜色场来提供颜色规范化和用于准确定位这些高斯函数的 3D 监督。我们通过展示 ZJU MoCap 和 People Snapshot 数据集上的令人信服的结果，证明了高斯函数散射提供了一种有趣的替代于基于神经渲染的方法，它利用了不可区分性和优化挑战，而这些挑战通常在这类方法中面临。粗放复刻范例使我们能够利用向前蒙皮，并且不会受到逆蒙皮和扭曲所带来的不确定性的影响。我们的方法对于可控的人体合成的有效性进行了强有力的证明。

    Nov, 2023