Jul, 2023

搁置、堆叠、悬挂：多模态重新布局的关系姿态扩散

PDF
TL;DR我们提出了一个系统，用于重新排列场景中的物体以实现期望的物体 - 场景放置关系，例如将一本书插入书架的空槽中。该系统可以泛化到新的几何形状、姿态和场景、物体布局，并且通过从示范中直接在 3D 点云上操作来进行训练。我们的系统克服了对于给定场景存在许多几何上相似的重新排列解决方案的挑战。通过利用迭代式姿态去噪训练过程，我们可以适应多模态示范数据并产生多模态输出，同时保持精确和准确。我们还展示了通过关注相关的局部几何特征和忽略有害于泛化和精确性的不相关的全局结构的优点。我们在仿真和真实世界中展示了在处理多模态和对物体形状和姿态进行泛化时所需要的三个不同的重新排列任务的方法。项目网站、代码和视频：（此处为上面提供的链接）
object-scene placing relationshiprearrangement3d point cloudsmulti-modalgeneralization
发现论文，激发创造
  • 用神经描述符场进行 SE（3）等变关系重排

    本文提出了一种基于点云观测数据，实现元素实例任意姿态下空间关系任务的方法，该方法通过三个步骤解决了元素重排列问题：指定本地协调对象部件的一致坐标系；在新的对象实例上确定该坐标系的位置和方向；实施调整坐标系以达到所需呈现的目的。关键技术难题得到了克服，性能得到了提高。

    Nov, 2022

  • 神经姿势表示学习用于生成和转移非刚性物体姿势

    我们提出了一种新的学习三维可变形物体姿态表示的方法，该方法能够在物体的不同标识和姿态之间进行解耦，并通过单一对象的变化实现多样化的姿态。通过设计姿态提取器和姿态应用器来实现姿态解耦、生成模型的紧凑性和可转移性，并利用隐式姿态应用器来提取姿态信息和实现目标对象的形状变化。通过实验验证了姿态转移和生成多样性变形形状的最新性能。

    Jun, 2024

  • 野外自监督网格预测

    该论文提出了一种从单张图像中推断物体的 3D 形状和姿态的学习方法，利用无定型图像集的分割输出进行监督，并采用体素表示和网格化表示相结合的方式进行形状 - 姿态分解和实例重建。

    Feb, 2021

  • 几何姿态可供性：带场景约束的三维人体姿态

    通过使用基于视觉的场景几何形状信息，我们提出了一种用于改善人体姿态估计的新颖机制：多层深度图。我们展示了这种方法可以提高 3D 姿态估计的精度。

    May, 2019

  • RelPose：预测野外单个物体的概率性相对旋转

    该论文提出基于能量分布的摄像机视角预测方法，该方法可以用于物体重建和视角合成等任务，并在稀疏图像情况下优于现有的 SfM 和 SLAM 方法，从而可以作为实现从多视角数据集中进行现场重建的基础。

    Aug, 2022

  • StructDiffusion：面向物体的扩散算法，用于新型物体的语义重组

    本文介绍了如何使用扩散模型和面向对象的变压器构建物理有效的结构，以便在多步骤的三维规划任务中创建复杂的配置。实验结果表明，该方法相对于现有的多模态变压器模型，改进了 16％的成功率，同时扩展了一种多任务模型来产生更广泛的不同构型。

    Nov, 2022

  • 从单幅图像中感知野外 3D 人体 - 物体空间排列

    本文提出了一种在非受控环境下从野外拍摄的单张图像中推断人类和物体的空间布局和形状的方法，并证明了尝试联合考虑人类和物体可以通过引入 3D 常识约束来减少可能的 3D 空间配置。

    Jul, 2020

  • 利用人类语境学习 3D 场景中的物品摆放

    本研究基于物体的易用性、可达性和相对人体姿态的关系，通过 3D 空间特征和 Dirichlet 过程混合模型学习场景中不同物体相对人体姿态的分布情况，并以此作为推理对象，通过合适的密度函数，预测物体在房间中的正确放置位置。实验证明，与最佳基线方法相比，该算法的平均误差小于 1.6 米，分数达到 4.3/5。

    Jun, 2012

  • 多视角图像中的多人姿态估计与形状感知

    本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

    Oct, 2021

  • GS-Pose：通用分割 6D 物体位姿估计的级联框架

    GS-Pose 是一个端到端的定位和估计物体 6D 姿态的框架，通过构建三种不同的表示形式，利用逐步定位、检索方法和渲染比较方法，以适应各个阶段的合适物体表示，并利用可用的工具链和常见硬件进行新对象的数据捕捉和数据库添加。在 LINEMOD 和 OnePose-LowTexture 数据集上进行广泛评估，取得了卓越的性能，建立了新的最先进技术。

    Mar, 2024