分割任意4D高斯函数
该研究提出了一个用于三维分割的新框架 SA3D,通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格,再通过迭代的方式学习准确的 3D 分割结果,实验表明 SA3D 在不同场景下的有效性。
Apr, 2023
从2D图像中重建动态3D场景并随时间生成多样视角是一项具有挑战性的任务,本研究提出一种基于优化一组4D基元的方法,以近似表示动态场景的底层时空4D体积,通过特定的渲染程序,制造各种时间的新视角,该方法简单灵活,适用于捕捉复杂动态场景运动,实验结果在多个基准数据集上证明了其优秀的视觉质量和高效性。
Oct, 2023
介绍了一种新颖的3D交互分割方法Segment Any 3D GAussians (SAGA),通过良好设计的对比训练将由分割基础模型生成的多颗粒度2D分割结果高效嵌入到3D高斯点特征中,实现了多颗粒度分割和适应各种提示,包括点,涂鸦和2D蒙版。SAGA可以在毫秒内完成3D分割,相比先前的SOTA加速近1000倍。
Dec, 2023
4D点云理解领域中的X4D-SceneFormer框架通过跨模态知识传递和Transformer架构的时间关系挖掘,增强了4D场景理解,在动作识别和语义分割等各种4D点云视频理解任务中取得了卓越的性能,超过了最新技术水平。
Dec, 2023
我们提出了一种紧凑高效的三维高斯分割方法(Compact and Swift Segmenting 3D Gaussians,CoSSegGaussians),通过仅使用RGB图像输入,在快速渲染速度下进行三维一致场景分割。
Jan, 2024
通过交互式流程而无需任何训练过程和学习参数,本文提出了一种在3D高斯中实现对象分割的新方法,称为SA-GS。通过提出的多视角掩码生成和视图标签分配方法,SA-GS可以泛化SAM以实现3D一致的分割,并提出了跨视图标签投票方法来分配不同视图中的标签。实验证明,SA-GS在3D分割结果方面具有高质量,也可以轻松应用于场景编辑和碰撞检测任务。
Jan, 2024
4D高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
通过学习高保真度的4D高斯点云分割场景表征,自校准相机参数,以及联合优化相机参数和3D结构,我们的方法在4D新视图合成方面展现出了显著的改进。
Jun, 2024
本研究解决了使用高斯进行动态场景重建中面临的低频特性和结构僵硬性问题,提出了一种新颖的方法,通过离散3D控制点模型和运动解耦坐标系统来增强局部6自由度运动表示。实验结果显示,该方法在多个数据集上显著优于现有的4D高斯技术,同时在单个NVIDIA 4070 GPU上能够在每帧仅用2秒完成3D控制点的优化,显著加速了训练过程。
Aug, 2024