RoofDiffusion: 利用扩散从严重受损的点云数据构建屋顶
利用图片条件模型扩散点云模型的新型三维建筑生成方法,在保持整体结构同时综合生成建筑顶部结构,实验证明该方法在建筑生成质量方面优于之前的研究。
Aug, 2023
本文提出了一种将 ViT 和扩散模型结合的 DiffPoint 架构,用于 2D 到 3D 重建的任务,通过将嘈杂的点云分割成不规则块,在每个扩散步骤中利用 ViT 模型训练以预测目标点,实现了在单视图和多视图重建任务中的最先进结果,并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征,进一步证明了应用统一架构于语言和图像之间以提升 3D 重建任务的可行性。
Feb, 2024
该研究利用条件去噪扩散概率模型(DDPM)通过训练产生高分辨率的三维表面来进行单幅遥感图像的高度估计。实验结果表明该方法在 Vaihingen 基准数据集上有很好的效果。
Apr, 2023
本文提出了 RenderDiffusion,这是第一个用于 3D 生成和推断的扩散模型,使用仅有的单眼 2D 监督进行训练,并采用新颖的图像去噪架构进行中间的三维表示,以提供强烈归纳结构,同时仅需要 2D 监督。我们在 FFHQ、AFHQ、ShapeNet 和 CLEVR 数据集上评估了 RenderDiffusion,展示了生成 3D 场景和从 2D 图像中推理 3D 场景的竞争性表现。此外,我们的扩散型方法还使我们能够使用 2D 修复来编辑 3D 场景。
Nov, 2022
本文提出了一种基于点扩散和精化的点云补全范式,其中条件生成网络使用去噪扩散概率模型生成粗糙补全, 精修网络进一步改进完成后的点云的质量,并开发了一个新的双向路径架构。 这种架构既能从部分观察到的点云中有效地提取多级特征以指导补全,也能准确地操纵三维点的空间位置以获得光滑的表面和清晰的细节。通过广泛的实验,证明了本文提出的方法在点云完成方面优于以往的最先进方法。值得注意的是,在精细网络的帮助下,我们可以将 DDPM 的迭代生成过程加速 50 倍,而不会影响其性能。
Dec, 2021
DiffRef3D 是一种新颖的框架,采用了首次将扩散流程应用于使用点云的三维物体检测,通过将噪声逐渐添加到提案和目标物体之间的残差,并将噪声残差应用于提案以生成假设,然后通过迭代步骤对假设进行精确的盒子预测,从而在现有的三维物体检测模型中持续改进性能。
Oct, 2023
通过引入一种新颖的基于扩散的边界精化方法,利用激光雷达点环绕粗糙边界框的无域扩散模型来同时精化边界框的位置、尺寸和方向,克服了现有模型在应用于具有不同传感器设置或地理位置的领域时面临的性能不稳定问题,从而在不同数据集、目标类别和检测器上实现了显著的改进。
May, 2024
本论文提出了一种新的点云超分辨率方法,名为雷达扩散。该方法使用受均值回归的随机微分方程定义的扩散模型,并通过与对应的 LiDAR 点云的监督来处理雷达幽灵点,将稀疏的毫米波雷达点云增强为稠密的类似 LiDAR 的点云。通过在两个不同的数据集上评估,实验结果表明我们的方法在 3D 雷达超分辨率任务中优于现有的基准方法。此外,我们证明了我们增强的雷达点云能够进行下游的基于点云的雷达配准任务。
Apr, 2024
本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计,通过 Monte Carlo 推理,结合了自监督预训练和合成和真实数据的监督训练,能够在去噪和缺陷数据方面提供技术创新,以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型,相对深度误差为 0.074,比最佳发布方法的 Fl-all outlier rate 高 25%。
Jun, 2023
图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态,并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性,这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征,通过匹配这些几何特征,显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上,通过直接利用这两种特征,该方法平均提高了 20.6%的内点比率、三倍的内点数目和 48.6%的配准召回率相比现有最先进方法。
Oct, 2023