Jun, 2023

生成接近感：从图像中的三维社交互动的先验

PDF
TL;DR本文通过一种基于 2D 图像的方法学习了二人社交互动的 3D proxemics 数据，介绍了一种新的去噪扩散模型 BUDDI 来可视化 3D 人际互动情境，并利用新的优化方法从单张图像中重构两个人的社交关系，其结果相较于现有方法更为准确和合理。
proxemicssocial interaction3d meshesbuddioptimization
发现论文，激发创造
  • 利用区域性和物理引导的紧密互动人体重建

    现有的多人人体重建方法主要关注于恢复准确的姿势或避免穿透，但忽略了密切互动的建模。本文通过从单目视频重建密切互动的人，旨在解决由深度模糊和人际遮挡引起的视觉信息不足的主要挑战。为弥补视觉信息的缺失，我们建议利用社会亲密行为和物理知识。具体而言，我们首先设计了基于向量量化变分自编码器 (VQ-VAE) 的潜在表示来建模人际交互。然后引入了一个基于亲密关系和物理规律的扩散模型来去噪初始分布。我们设计了扩散模型，其中每个分支代表一个个体，以建模互动关系。通过学习 VQ-VAE 的先验知识和物理约束作为附加信息，我们的方法能够估计出既准确又符合亲密关系和物理规律的姿势。Hi4D、3DPW 和 CHI3D 上的实验结果表明，我们的方法优于现有的方法。代码可在 https://github.com/boycehbz/HumanInteraction 获得。

    Apr, 2024

  • 学习人 - 场景交互生成 3D 场景

    本文提出了 POSA 模型，用来学习人体与场景的交互，包括接触概率和语义场景标签，并展示了其在 3D 人物自动放置和一致的单目人体姿态估计方面的改进。

    Dec, 2020

  • ContactGen: 为合作伙伴提供基于接触指导的交互式三维人体生成

    基于引导扩散框架，我们提出了一个新方法：根据给定的互动标签生成参与互动的 3D 人体，通过自适应地估计潜在的接触区域和使用它们作为指导，我们演示了在 CHI3D 数据集上的 ContactGen 方法生成与比较方法相比更加真实多样的姿势。

    Jan, 2024

  • 无模板重构人物 - 物体交互与程序交互生成

    通过 ProciGen 和 HDM 方法，本研究提出了一种从单个 RGB 图像中重建人物与物体之间的三维交互的方法，无需使用模板网格，利用 ProciGen 生成的数据集训练 HDM 模型，在重建人物和未见过的物体时取得显著优势。

    Dec, 2023

  • 语义控制下的人 - 场景交互合成

    本研究提出了一种名为 COINS 的生成模型，可以在高级语义规格的控制下合成 3D 场景内与虚拟人之间的自然互动，该模型通过编码统一的潜在空间和位置编码来嵌入互动语义，并可以自然地合成多个对象之间的组合互动，实验结果表明该模型可以合成具有语义控制的真实人 - 场景交互。

    Jul, 2022

  • CHORUS: 学习从无限合成图像中的规范化三维人体 - 物体空间关系

    我们提出了一种教导机器以自监督方式理解并建模多种 3D 人物 - 物体相互作用的基础空间常识的方法。我们利用生成模型生成高质量的 2D 图像，并展示了这些合成图像足以学习 3D 人物 - 物体之间的空间关系。

    Aug, 2023

  • 基于解耦结构的场景内多样化 3D 人体姿态生成

    本文提出了一种新颖的方法，用于在具有语义控制的场景中生成多样化的 3D 人体姿势。

    Jun, 2024

  • 基于自我中心视角的三维场景中概率人类网格恢复

    提出了一种基于场景的扩散方法，用于从自我感知的角度预测社交伴侣的姿态和形状，通过物理学基础碰撞评分进一步解决人 - 场景相互渗透，分类器自由训练使得在不同情况下可进行可扩展抽样，并具有更多的多样性，能够通过基于每个关节的可见性进行噪声去除，控制每个身体部位，实现了优秀的可见关节准确度和不可见身体部位的多样性。

    Apr, 2023

  • 重建相互作用人体的三维模型

    本文研究了 3D 人类交互的意义和行为建模，并通过引入模型和数据集等多个方面的贡献，提出了一种解决 3D 重建中遗漏人体细微接触等问题的方法。

    Aug, 2023

  • 利用三维场景约束解决三维人体姿态歧义

    该研究通过利用场景结构、建立人体与场景之间的 “临近关系与对象排除法” 来更好地从单眼图像中估计人体姿势，并显示引入场景约束可以显著减少 3D 关节误差和顶点误差。

    Aug, 2019