ContrastMotion: 大规模 LiDAR 点云自监督场景运动学习
本文提出了一种基于点云数据和自监督学习的动态估计框架,旨在高效精确地估计自动驾驶汽车与其他动态交通参与者的相对运动状态,并在实验中表现出与有监督方法相当的竞争力。
Apr, 2021
我们提出了一种简单而高效的自监督方法,用于汽车激光雷达点云的 3D 主干。我们在相同场景中捕获的激光雷达扫描的特征之间设计了对比损失。在 Bird's Eye View 平面的 2D 单元格级别上定义的对比度提供了 PointContrast 中利用的点级表示和 TARL 中利用的分割级表示之间的很好的平衡:我们保留了 PointContrast 的简单性(单元格表示计算廉价),同时超过了 TARL 在下游语义分割中的性能。
Oct, 2023
本文提出了一种新的实时方法,基于三维点云序列,采用时间上下文聚合实现动态检测和运动参数估计,可适用于自动驾驶车辆在复杂城市环境下进行安全导航,不仅可以估计车辆或行人等常见道路参与者的运动,还可推广到其他没有在训练数据中出现的物体类别,并对不同的时间上下文聚合策略进行了深入的分析,提供了我们最先进模型与 KITTI 场景流数据集上现有解决方案的比较结果。
Apr, 2020
我们提出了一个统一的点云视频自监督学习框架,用于面向对象和面向场景的数据。通过在点级别进行对比学习,我们的方法能够捕捉到细粒度语义。同时,我们引入了一个新的预训练任务,通过实现超点的语义对齐来进一步提高表示能力。此外,为了解决动态点云时间维度的高冗余性问题,我们提出了一种选择策略来保留适当的负样本,并利用其他实例中的高相似样本作为正样本的补充。大量实验证明我们的方法在各种下游任务上优于有监督对应方法,并展示了学到的表示的卓越可迁移性。
Aug, 2023
提出了一种名为 ProposalContrast 的无监督点云预训练框架,该框架通过对比区域建议来学习强大的 3D 表示,从而更好地适应 3D 检测属性。
Jul, 2022
本文提出了一种 Motion Sensitive Contrastive Learning (MSCL) 方法,将光流获取的运动信息注入到 RGB 帧中,强化特征学习,通过局部运动对比学习(LMCL),以及流旋转增强(FRA)和运动差分采样(MDS)等方法对其进行扩展,对标准基准数据集进行了广泛的实验,提高了 UCF101 和 Something-Something v2 的视频分类性能,并显著提高了 UCF101 的视频检索性能。
Aug, 2022
通过引入新颖的跨模态自监督训练框架,本文解决了点云方法中的假流和不一致性问题,提出了三种创新的监督信号来保留场景动作的内在属性,包括遮罩 Chamfer 距离损失、分段刚性损失和时间一致性损失,通过广泛实验证明,我们提出的自监督框架在动作预测任务中优于所有先前的自监督方法。
Jan, 2024
本文提出了一种新的自监督范式来处理点云序列理解问题,设计了两个任务:基于点云序列的对比预测和重建(CPR)来协同学习更全面的时空表示。通过组合传统的对比和重建范例,使得学习到的表示在全局判别和局部感知方面都更加优越。
May, 2023
本文研究了基于自监督学习的点云中的 3D 场景流估计和无类别运动预测,通过分片刚性运动估计生成伪场景流标签进行自监督学习,实验证明该方法在自监督场景流学习方面取得了新的最先进性能,并在 nuScenes 数据集上显着优于之前最先进的自监督方法的类别无关运动预测。
Oct, 2023