基于 LIDAR 点云的开放世界语义分割
该论文提出了一种新颖的方法,能够在没有额外训练数据的情况下,同时完成准确的封闭世界语义分割和识别新类别,还提供了每个新发现类别与已知类别的相似度度量,可在规划或映射等下游任务中提供有用信息。通过广泛的实验,我们展示了我们的模型在训练数据中已知类别以及异常分割方面取得了最先进的结果,并且能够区分不同的未知类别。
Mar, 2024
本文提出了一种开放领域语义分割系统,包括两个模块:一个开放集语义分割模块来检测分布内及分布外的目标对象,和一个少样本学习模块来逐渐将这些边缘领域对象纳入已有知识库。我们采用深度度量学习网络 (DMLNet) 与对比聚类来实现开放集语义分割。相比于其他开放集语义分割方法,在三个具有挑战性的数据集上表现出最先进的性能。此外,本文还提出了两个增量少样本学习方法来逐步提高 DMLNet 的性能。
Aug, 2021
已有的 3D 实例分割方法通常假设在训练过程中可获取所有待分割的语义类别,并在推理时仅分割已见类别。我们认为这种封闭世界的假设过于限制,首次探索了在开放世界环境中进行 3D 室内实例分割,使模型能够区分已知类别,并将未知对象标注为未知,并在相应的类别标签可用时逐步学习未知对象的语义类别。为此,我们引入了一种开放世界的 3D 室内实例分割方法,其中采用自动标注方案在训练过程中生成伪标签,并引入分离机制来区分已知和未知类别标签。我们还通过基于目标性得分分布调整未知类别概率的方法,在推理过程中改进了伪标签的质量。我们还引入了基于真实场景的谨慎策划的开放世界数据集,根据物体分布、基于区域的室内场景探索和开放世界类别的随机性方面。广泛的实验表明了所提出的方法有效性,为开放世界 3D 实例分割性能带来了希望。
Sep, 2023
本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割,使用三维地图表示方法来标记没有语义标签的区域,实现对新的物体类别的识别及聚类。通过实验验证,该方法能够正确聚类已知和未知类别的对象,并且比现有的监督式方法具有更快的处理时间及更高的性能。
Jul, 2019
本研究中,我们展示了如何通过一种新的损失函数形式实现全局到局部聚类的类特定特征,从而提高深度开放世界识别算法的性能,并提出了一种学习类特定拒绝阈值的策略,在 RGB-D Object 和 Core50 数据集上进行了实验证明了我们的方法的有效性。
Apr, 2020
自动驾驶中现有的感知方法无法识别训练数据中未覆盖的未知实体。开放词汇方法能够检测任何目标,但受限于用户指定的查询代表目标类别。我们提出了 AutoVoc3D,一种用于自动目标类别识别和开放式分割的框架。在 nuScenes 中的评估显示了 AutoVoc3D 生成精确的语义类别和准确的逐点分割的能力。此外,我们引入了一种新的度量方法 Text-Point 语义相似性,用于评估文本和点云之间的语义相似性,而不排除新的类别。
Jun, 2024
提出了一种概率驱动框架(PDF)用于开放世界语义分割,在点云语义分割网络中引入轻量级的 U-decoder 分支来识别未知类别,并通过生成伪标签提供未知类别的几何特征和概率分布特征,再通过增量式知识蒸馏策略逐渐将新类别纳入现有知识库,使模型能够像人一样识别未知对象并逐步学习相关知识,实验结果表明,该 PDF 方法在开放世界语义分割的重要任务中大幅优于其他方法。
Apr, 2024
本文研究在自动驾驶应用中对动态场景中的 3D LiDAR 数据进行语义分割。通过使用 3D LiDAR 数据,构建了一个包括范围图像分割、样本生成、数据关联、跟踪级别注释和半监督学习等方面的语义分割系统,使用半监督学习并结合约束数据和少量标注数据对 CNN 分类器进行训练,设计了一种特殊的损失函数,其中鼓励将约束数据分配到同一语义类别。实验表明,少量标注和大量约束数据的组合显著提高了该方法的有效性和场景适应性,效果比以往的方法提高了 10% 以上。
Sep, 2018
本文提出了一种基于贝叶斯框架和模拟退火优化的图像划分采样算法,基于已知物体类别的目标检测器输出,实现了在开放集条件下分割所有已知和未知目标类别的实例分割方法,该方法在已知类别和未知类别上均有较好表现并且与监督式方法相比具有竞争性。
Jun, 2018
本研究提出了一种自监督学习方法用于激光雷达帧的语义分割,通过结合 SLAM 和光线追踪算法实现自动化注释,训练预测机器人移动场景中的固定结构和可动目标的深度学习模型,同时改进机器人的导航和本地化性能,为机器人导航和目标定位提供了新的途径。
Dec, 2020