Sep, 2024

GS-PT：利用3D高斯点云的自监督学习进行全面理解

HTML
PDF
TL;DR本研究解决了现有自监督点云学习在数据多样性和特征学习增强方面的不足。提出的GS-PT方法首次将3D高斯点云整合到自监督学习中，利用变压器及新型对比学习任务，显著提升了模型的表现，尤其在3D物体分类和少样本学习等下游任务中优于传统方法。
发现论文，激发创造
  • CrossPoint: 自监督的跨模态对比学习，用于三维点云理解

    本研究提出了一种名为CrossPoint的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

    Mar, 2022

  • 自监督学习用于预训练3D点云：综述

    本研究综述了使用深度神经网络实现无监督点云表示学习的方法，解决在人工标注数据量有限的问题。研究挖掘了常用数据集和评估指标，提出了基于这些技术的自监督点云表示学习方法的广泛应用，并指出未来可能面临的挑战和潜在问题。

    May, 2023

  • 可解释的自监督变压器深入探究点云

    本文研究了transformers在点云领域中通过自监督学习所获得的特性，探讨了其预训练方案的有效性，分析了数据数量对网络特征的影响，提出了一种解冻策略，并在分类任务中取得了最优结果。

    Jun, 2023

  • GS-CLIP: 从真实世界数据进行对比度语言-图像-3D预训练的高斯飞溅

    提出GS-CLIP方法将3D高斯粒化引入多模态预训练，以增强3D表示，并通过预训练的视觉-语言模型和3D编码器对3D高斯粒化进行优化，实现全局显式特征的提取和融合。实验证明，GS-CLIP显著提高了最新研究成果，超越了先前最好的结果。

    Feb, 2024

  • 放宽三维高斯平铺的准确初始化约束

    通过分析频域中的结构化运动初始化和多个一维高斯回归任务的分析，我们提出了一种名为RAIN-GS（放松3D高斯点云精确初始化约束）的新优化策略，成功地从随机点云训练3D高斯效果，并通过多个数据集进行定量和定性比较，大幅提高了在所有设置中的性能。

    Mar, 2024

  • GeoMask3D：3D 自监督点云学习的几何信息掩码选择

    我们引入了一种自监督学习的创新方法，采用一种名为GeoMask3D（GM3D）的几何信息驱动的蒙版选择策略，以提高蒙版自编码器（MAE）的效率。与传统的随机蒙版方法不同，我们的技术利用师生模型来专注于数据中的复杂区域，引导模型关注具有更高几何复杂性的区域。我们的方法还提供了一种基于特征级信息的完全到部分的特征级知识提取技术，以指导几何复杂性的预测。大量实验证实了我们方法在分类和少样本任务中相对于现有基准的卓越性能。

    May, 2024

  • SA-GS：基于语义感知的高斯点渲染用于带有几何约束的大场景重构

    采用语义感知的 3D 高斯斑点，提出了一种新的方法 SA-GS 用于细粒度的 3D 几何重建，并在大规模场景重建数据集上展示了其卓越性能。

    May, 2024

  • PFGS：基于特征散放的高保真度点云渲染

    稀疏点云生成高保真图像仍具有挑战性，本文提出了一种从稀疏点集中生成高质量图像的新框架，通过多级模块实现了3D高斯点生成和点云渲染的融合，通过回归器和多尺度提取器将神经特征描述符投影为2D平面，然后逐步解码以实现最终预测，整个流程通过逐步和多尺度的重建损失进行两阶段训练。实验结果表明我们的方法在渲染质量上具有优越性，并验证了我们的核心组件的必要性。

    Jul, 2024

  • ShapeSplat：大规模高斯样本数据集及其自监督预训练

    本研究关注于3D高斯样本（3DGS）表示在视觉任务中的应用，提出了ShapeSplat数据集，包含65K个对象和87个独特类别，以支持直接在此表示空间进行3D理解。研究引入了“高斯-MAE”方法，强调利用高斯参数进行表征学习的独特优势，实验表明该方法能显著改善分类与分割任务的效果。

    Aug, 2024

  • GS-Net：通用即插即用3D高斯喷溅模块

    本研究旨在解决3D高斯喷溅模型在单场景训练中过拟合与高斯椭球体初始化敏感性的问题，提出了GS-Net，即一种通用的即插即用3D高斯喷溅模块，通过从稀疏的SfM点云中增强高斯椭球体的密度。研究结果表明，GS-Net在传统和新颖视点上显著提高了重建和渲染质量，展示了其广泛的实用性和强大的适应能力。

    Sep, 2024