Apr, 2023

基于自我中心视角的三维场景中概率人类网格恢复

PDF
TL;DR提出了一种基于场景的扩散方法，用于从自我感知的角度预测社交伴侣的姿态和形状，通过物理学基础碰撞评分进一步解决人 - 场景相互渗透，分类器自由训练使得在不同情况下可进行可扩展抽样，并具有更多的多样性，能够通过基于每个关节的可见性进行噪声去除，控制每个身体部位，实现了优秀的可见关节准确度和不可见身体部位的多样性。
发现论文，激发创造
  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 具有空间约束扩散模型的人类感知三维场景生成

    通过扩展基于自回归的人体感知 3D 场景生成方法，本研究探索了扩散模型在同时考虑多个输入人体和底图的情况下生成逼真三维场景的潜力，并引入了人物物体碰撞避免和房间边界约束等空间碰撞导向机制来避免与人体动作冲突的场景生成。大量实验结果表明，与现有最先进方法相比，我们的框架可以生成更自然、更逼真的三维场景，具有精确的人体场景交互，并显著减少人物物体碰撞。

    Jun, 2024

  • 学习三维场景中的人体网格恢复

    提出了一种新方法，通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触，并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习，进而提高每个正向遍历的准确性和速度。

    Jun, 2023

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • 人体网格恢复的概率建模

    本文提出一种基于正常流模型的方法，利用概率建模的思想，从多个视角的 2D 图像集合中重建 3D 人体姿势。该方法在人体姿势重建、模拟及建模上都取得了较好的效果，且可通过提供多种样本取得更为准确的估计。

    Aug, 2021

  • 从部分观察中获取全身意识

    本文提出了一种简单而高效的自学习框架，以适应消费视频数据的人体三维网格恢复系统，并在此基础上进行 13K 帧的评估以及对任务的关键点注释，结果显示我们的方法在测试视频上具有较高的准确性和人为判断水平。

    Aug, 2020

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019

  • 从单目图像中恢复 3D 人体网格：一项调查

    本篇文章调查了单目三维人体网格恢复的相关任务，包括身体模型，恢复框架 / 训练目标，数据集评估指标和评测结果，并从优势和劣势方面深入分析了两种范式：优化和回归。作者希望激励研究人员的兴趣，促进该领域的研究。

    Mar, 2022

  • 具备自监督的渐进式多视角人体网格恢复

    通过使用中间的二维表示，可学习的校准和三角测量来适应更多样化的相机设置，逐步聚合多视图信息在规范化三维空间中消除二维表示中的歧义，通过广泛的基准测试，特别是针对野外场景的未见过的情况下，我们展示了所提出的解决方案的优越性。

    Dec, 2022

  • 自我的场景感知人体轨迹预测

    利用身体携带的相机和传感器，通过对用户的视角进行全景导航数据收集，提出了一种基于周围静态场景的人体运动预测方法，该方法利用扩散模型生成潜在的未来轨迹分布，并引入了一种紧凑表示方法来编码用户对环境的视觉记忆，以及一种高效的样本生成技术来加速扩散模型的实时推理。对模型进行了实验和基准测试，结果表明该模型在避免碰撞和轨迹模式覆盖等关键指标上优于现有方法。

    Mar, 2024