- DIG3D: 高斯扩散融合可变形变换用于单张图像三维重建
利用单视角 RGB 图像进行三维重建及新视角合成的研究中,提出了一种名为 DIG3D 的新方法,该方法利用编码 - 解码框架,通过编码器的深度感知图像特征指导解码器生成三维高斯图像,具体来说,引入了可变形变换器,通过三维参考点和多层细化适应 - 基于 RGB 的一次性视角规划中利用来自 3D 扩散模型的先验知识
通过利用扩散模型的强大的 3D 生成能力作为先验,我们提出了一种新颖的一次性视图规划方法,从而实现了仅通过对象的单个 RGB 图像开始进行高效的一次性视图规划,以平衡对象重建质量和移动成本。
- 基于单一视点云的注册和分割的可变形物体重建
在可变形物体操作中,我们常常需要与仅在非变形模型中定义的物体特定部分进行交互。因此,我们需要一个能够识别和定位这些物体特定部分的系统,并使用变形物体注册来实现。最新的方法利用神经占据函数通过与物体重建进行注册来改进变形物体注册。进一步地,我 - 3DFusion,基于实例分割流数据的实时 3D 物体重建流水线
该论文介绍了一个实时分割和重构系统,利用 RGB-D 图像生成准确而详细的物体三维模型,可以应用于增强 / 虚拟现实、室内设计、城市规划、道路辅助和安全系统等领域。通过采样连续帧以减少网络负载并确保重构质量,采用多进程 SLAM 管道实现并 - DORec: 利用 2D 无监督特征的分解对象重建
本研究提出了基于神经隐式表示的 Decomposed Object Reconstruction (DORec) 网络,通过转换 2D 自监督特征为两个粒度级别的蒙版来监督分解,包括指示前景区域的二进制蒙版和指示语义相似区域的 K 聚类蒙版 - AcTExplore:未知物体上的主动触觉探索
利用强化学习驱动的主动触觉探索方法,通过有限步骤对物体进行重新构建,从而更好地理解物体结构并获取三维形状的表示,为机器人抓取和操作等基础任务提供有效的解决方案。
- 基于几何引导的稀疏视图神经表面重建的光线增强
本文提出了一种从稀疏多视角图像重建三维场景和对象的新方法,通过利用嵌入在多视角输入中的场景属性,创建精确的伪标签进行优化,而无需任何先验训练。我们的方法通过利用球谐函数来预测场景中点的新辐射,综合考虑所有颜色观察结果,从而提高稀疏视图的表面 - 高质量神经对象克隆与三维分割提升
通过将 Segment Anything Model(SAM)中的 2D 分割掩膜传递到统一的 3D 变化场中,然后进一步将 SAM 编码器的 2D 特征提取到 3D SAM 场中,提出了 Neural Object Cloning(NOC - SpaDen:用于真实世界图表理解的稀疏和密集关键点估计
我们提出了一种新的自底向上方法,用于提取图表数据。我们的模型利用图表的图像作为输入,并学习检测关键点(KP),用于重建绘图区域内的组件。我们的创新在于检测连续和离散 KP 的融合,作为预测热图。我们应用了一种稀疏和密集的像素目标组合,结合了 - 基于变量辐射场的真实世界分类重建
利用 Variable Radiance Field 框架,通过多尺度全局特征提取器参数化物体的几何和外观,学习类别模板并使用超网络生成小型神经辐射场,实现从单张图像高效、准确地重建特定类别物体。
- 手持物体单目图像的隐式重建中学习显式接触
本文提出了一种新的方法,通过建模手部与物体之间的互动模式,达到更准确、更真实的物体重建,包括手部接触物体的部分。该方法由两部分组成:显式接触预测和隐式形状重建,并在挑战性数据集上表现出比当前艺术水平更出色的性能。
- 神经网络重建形状、材质和光照
本文提出了一种强大的物体重建流程,以神经网络和基于物理反演的渲染相结合,可从二维图像中重建物理世界中对象的形状和在空间上变化的表面外观以及其周围的照明,并通过实验证明了该流程在质量和性能方面优于现有的重建方法。
- CVPR手持物品重建的视觉触觉感知
本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO,并将其扩展到手 - 物体重建的 VTacOH,并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估,展示了其在刚性和不可变形物体重建上具有优异的表现。
- InterCap: 交互中人和物体的联合无标记 3D 跟踪
本研究提出了一种名为 InterCap 的新方法,利用多视角 RGB-D 数据和参数化的全身模型 SMPL-X 来重建整体身体和对象的互动情况,并构建了一个名为 InterCap 的数据集,填补了现有文献的空白,并支持许多研究方向。
- ECCVRelPose:预测野外单个物体的概率性相对旋转
该论文提出基于能量分布的摄像机视角预测方法,该方法可以用于物体重建和视角合成等任务,并在稀疏图像情况下优于现有的 SfM 和 SLAM 方法,从而可以作为实现从多视角数据集中进行现场重建的基础。
- ECCVS$^2$Contact:基于图网络的半监督学习三维手对象接触估计
本文提出了一种半监督学习的框架,通过利用视觉和几何一致性约束生成伪标签来实现从单眼图像中学习接触。在使用少量标注数据的情况下,我们的模型能够实现比基于 PointNet 的方法更好的结果。使用接触映射提高了手 - 物体交互的准确性,并可以对 - ECCV室内场景高保真单视角整体重建
我们提出了一种新的框架来重建立体的室内场景,包括从单视图图像中提取的背景和室内物体。我们的方法是将实例对齐的隐式函数(InstPIFu)与对齐注意力模块相结合,从而使我们的方法能够解耦合并的局部特征以实现物体的详细重构和恢复背景的细致几何结 - 使用深度神经网络从正交图中重建交通工具
本文使用深度神经网络研究了基于多个正交绘图的物体重构,提出了两种算法,一种基于基于像素对齐的隐式函数进行系统构建,另一种比较了多视角深度图回归的方法,在车辆重建方面使用了一种新颖的数据集,并对训练后的神经网络进行了评估。
- ECCVRFNet-4D: 从 4D 点云中联合进行对象重建和流估计
本文提出了一种名为 RFNet-4D 的新型网络架构,可以通过学习空间和时间特征从 4D 点云序列中同时重建物体和其运动流,并使用无监督学习方法进行流估计,通过监督学习重建空间结构,实验结果表明,在训练和推理方面比现有方法更快,并在流估计和 - LOLNeRF: 从一张图片中学习
本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法,并通过类别级别的训练数据来重建物体外形,进而实现新视角综合渲染和单目深度估计的高精度结果。