跨模态和跨视角自监督特征学习
本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法,通过自监督学习,在不需要人类标注的情况下,实现可转移的三维点云表示,通过最大化点云和相应渲染的二维图像之间的协议,实现了三维物体分类和分割等多项任务,并验证了我们的方法在提高点云理解方面的效果。
Mar, 2022
该论文提出了基于异构网络的多模式和多视角无关特征学习方法,通过两种约束条件实现特征信息的跨模式和跨视角一致性,并在三种数据模态下进行了验证。实验结果表明该方法能够提取出鲁棒性较强的高质量特征。
May, 2020
通过在训练过程中直接强制将强大的三维结构先验性知识融入模型,我们提出了一种新的方法来加强现有的自监督学习方法,并通过一系列数据集实验证明了我们的三维感知表示比传统的自监督基线更加稳健。
Jun, 2024
本文介绍了一种名为 CrossVideo 的新方法,旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示,我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术,我们实现了对点云视频的有效理解,并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明,我们的方法明显超过了先前的最先进方法,并进行了全面的消融研究来验证我们提出的设计的有效性。
Jan, 2024
通过使用 Cross-MoST 优化框架,结合 CLIP 等 2D 视觉语言模型,可以提高无需标签的零样本 3D 视觉模型的分类性能,并且实现图像和点云模态之间的跨模态知识交流。
Apr, 2024
通过将基于网格的功能映射正则化与连续损失相结合的自监督多模态学习策略相结合,我们提出了一种形状匹配方法,它能够针对三角形网格、完整点云和部分观测点云获得同模式和跨模态的对应关系,并在多个基准数据集上取得了最先进的结果,具有先前未见的跨数据集普适性。
Mar, 2023
通过探索图像和点云之间的关系并设计有效的特征对齐策略,我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务,在没有任何 3D 标签的情况下,我们的方法利用 KITTI360 和 GTA5 的知识,在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能,相比现有的无监督和弱监督基准。
Sep, 2023