Apr, 2024

CLIP-GS：基于 CLIP 的高斯点云着色在实时和视图一致的三维语义理解中的应用

PDF
TL;DRCLIP-GS integrates semantics from Contrastive Language-Image Pre-Training (CLIP) into Gaussian Splatting, utilizing Semantic Attribute Compactness (SAC) and 3D Coherent Self-training (3DCS), achieving improved segmentation results with real-time rendering speed.
3d gaussian splattingclip-gssemantic understandingsemantic attribute compactness3d coherent self-training
发现论文，激发创造
  • GS-CLIP: 从真实世界数据进行对比度语言 - 图像 - 3D 预训练的高斯飞溅

    提出 GS-CLIP 方法将 3D 高斯粒化引入多模态预训练，以增强 3D 表示，并通过预训练的视觉 - 语言模型和 3D 编码器对 3D 高斯粒化进行优化，实现全局显式特征的提取和融合。实验证明，GS-CLIP 显著提高了最新研究成果，超越了先前最好的结果。

    Feb, 2024

  • SGS-SLAM：面向神经稠密 SLAM 的语义高斯投影

    SGS-SLAM 是第一个基于三维高斯模型的语义密集视觉 SLAM 系统，它在实时渲染的同时提供精确的三维语义分割和高保真度的重建结果。

    Feb, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 视角一致的高斯喷粒体三维编辑

    3D 高斯溅射在 3D 编辑方面的革命性变革中的作用是引入了 View-consistent Editing (VcEdit) 框架，该框架无缝地将 3DGS 引入图像编辑过程，确保修订的引导图像在多视图中具有一致性，并有效减轻模型崩溃问题。

    Mar, 2024

  • TCLC-GS: 紧密耦合的激光雷达 - 相机高斯投影在自动驾驶环境中的应用

    设计一种新的紧密耦合的 LiDAR-Camera 高斯扩散 (TCLC-GS) 方法，充分利用 LiDAR 和相机传感器的优势，实现快速高质量的 3D 重建和新视角 RGB / 深度合成，通过富含上下文信息的 3D 网格和隐式特征来丰富 3D 高斯扩散的属性和优化过程。

    Apr, 2024

  • CompGS: 通过压缩高斯光斑实现高效的 3D 场景表示

    提出了一种名为 CompGS 的高效的三维场景表示方法，通过使用紧凑的高斯原始形式，实现了对三维场景建模过程中数据大小的显著降低。通过设计一种捕获彼此之间预测关系的混合原始结构，利用少量的锚原始形式进行预测，并将大多数原始形式封装成高度紧凑的残差形式。此外，还开发了一种受速率约束的优化方案，以在比特率消耗和表示效能之间实现 CompGS 的最佳权衡。实验证明，所提出的 CompGS 在三维场景表示中明显优于现有方法，在不损害模型准确性和渲染质量的情况下实现了卓越的紧凑性。我们的代码将在 GitHub 上发布供进一步研究使用。

    Apr, 2024

  • 基于网格的高斯映射在实时大规模变形中的应用

    通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

    Feb, 2024

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • SCLIP：为密集视觉语言推理重新思考自注意力

    通过引入新的自相关自注意力（CSA）机制，增强了 CLIP 在语义分割方面的潜力，并且在零样本 mIoU 方面明显优于现有的 SoTA 结果和原始的 CLIP。

    Dec, 2023

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024