Feb, 2024

DiffPoint: 用基于 ViT 的扩散模型进行单视点云和多视点云重建

TL;DR本文提出了一种将 ViT 和扩散模型结合的 DiffPoint 架构,用于 2D 到 3D 重建的任务,通过将嘈杂的点云分割成不规则块,在每个扩散步骤中利用 ViT 模型训练以预测目标点,实现了在单视图和多视图重建任务中的最先进结果,并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征,进一步证明了应用统一架构于语言和图像之间以提升 3D 重建任务的可行性。