May, 2024

ELiTe: 高效的图像到 LiDAR 的知识转移用于语义分割

PDF
TL;DR通过跨模态知识转移增强了点云表示学习在激光雷达语义分割中的应用，引入有效的知识转移策略和众多优化方法，得到了领先的性能并且具有较低的模型参数。
cross-modal knowledge transferpoint cloud representation learninglidar semantic segmentationweak teacher challengeefficient image-to-lidar knowledge transfer (elite)
发现论文，激发创造
  • 基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

    本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

    Jun, 2022

  • 从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

    该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

    Apr, 2023

  • 细粒度图像到 LiDAR 对比蒸馏与视觉基础模型

    通过利用 VFMs 的像素级语义增强三维表示学习，采用 von Mises-Fisher 分布对特征空间进行结构化，以解决对手法的挑战并在下游任务中始终优于现有的图像到 LiDAR 对比蒸馏方法。

    May, 2024

  • 基于点云语义分割的多到单知识蒸馏

    本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

    Apr, 2023

  • 从 CNN 提炼高效的视觉 Transformer 用于语义分割

    我们提出了一种 CNN 到 ViT 知识蒸馏框架，包括视觉语言特征蒸馏模块 (VLFD) 和像素级解耦蒸馏模块 (PDD)，实验证明我们的方法在三个语义分割基准数据集上的 mIoU 增量是最先进知识蒸馏方法的 200% 以上。

    Oct, 2023

  • 从合成到真实激光雷达点云的迁移学习用于语义分割

    通过收集含有准确几何形状和综合语义类别的点云注释的 SynLiDAR，以及设计点云翻译器 PCT，将合成数据转换为真实数据，这极大地提高了点云翻译，为研究 3D 转换提供了高质量的数据来源。

    Jul, 2021

  • 跨模态和跨域知识迁移对无标签 3D 分割

    通过探索图像和点云之间的关系并设计有效的特征对齐策略，我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务，在没有任何 3D 标签的情况下，我们的方法利用 KITTI360 和 GTA5 的知识，在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能，相比现有的无监督和弱监督基准。

    Sep, 2023

  • 遥感图像文本检索的参数高效迁移学习

    通过参数高效的迁移学习方法，将自然领域的视觉 - 语言知识有效且高效地转移到遥感领域的图像 - 文本检索任务上，提出了一个新颖而复杂的参数高效转移学习框架，通过预训练的 CLIP 模型、多模态遥感适配器和混合多模态对比学习目标来解决遥感数据中高内部相似性的问题，并在 RSITR 任务上进行了全面的实证研究，结果表明该方法具有很大的应用潜力，可以在实际应用中实现大幅度的训练成本节省，超过传统方法 7-13% 的检索性能并达到与全面微调相媲美甚至更好的性能，为 RS 视觉 - 语言任务提供了新的思路和有用的见解。

    Aug, 2023

  • EfficientLPS: 高效的激光雷达全景分割

    本文提出了一种名为 EfficientLPS 的创新型自顶向下的 LiDAR 全景分割框架来解决 LiDAR 点云分割中的多个挑战，包括距离依赖的稀疏性、严重遮挡、大规模变化和重投影误差，并在两个大型 LiDAR 数据集上实现了状态 - of-the-art 的效果。

    Feb, 2021

  • 使用外部知识学习可转移的视觉模型的 K-LITE

    该论文探讨了使用外部知识作为计算机视觉系统训练的一种有效方法，并提出了一种名为 K-LITE 的策略，旨在通过使用 WordNet 和 Wiktionary 的知识来丰富文本数据从而提高图像识别和目标检测的性能。在 20 个数据集和 13 个不同的基准测试上，与现有方法相比，使用外部知识的知识增强模型表现出了更高的迁移学习性能。

    Apr, 2022