使用 Minkowski 引擎和知识蒸馏方法的 3D 语义分割更小模型

May, 2023

使用 Minkowski 引擎和知识蒸馏方法的 3D 语义分割更小模型

Smaller3d: Smaller Models for 3D Semantic Segmentation Using Minkowski Engine and Knowledge Distillation Methods

Alen Adamyan, Erik Harutyunyan

TL;DR通过应用知识蒸馏技术来减少模型大小，同时保持性能，本文目的是分析和提出不同的损失函数来模拟不同的稀疏卷积神经网络 (Sparse Convolutional NNs) 的表现，特别是在 3D 深度学习的稀疏张量中，我们在标准 ScanNet V2 数据集上进行了实验，并在最新的基于时空卷积模型上，通过四倍模型减少约 2.6％mIoU 差异和 16 倍模型减少约 8％的实验结果。

Abstract

There are various optimization techniques in the realm of 3D, including point cloud-based approaches that use mesh, texture, and voxels which optimize how you store, and how do calculate in 3D. These techniques employ methods such as feed-forward networks, 3D convolutions, graph neural networks, transformers, and →

3d optimization point cloud knowledge distillation sparse tensors deep learning

发现论文，激发创造

基于点云语义分割的多到单知识蒸馏

本文提出了一种基于多源知识蒸馏的 3D 点云语义分割方法，采用多到单的融合方式，通过实例感知亲和性蒸馏算法获取高级结构知识，实现对于难分类类别的提升。在 SemanticKITTI 数据集中实验证明，该方法在验证集和测试集上均显著优于基线方法。

Apr, 2023

通过知识蒸馏实现高效的 3D 目标检测

本文章提出了一种使用知识蒸馏技术开发高效 3D 物体检测器的方法，并在输入分辨率降低和模型压缩方面发掘教师学生模型的差异，基于现有的 KD 方法建立了一个基准测试，提出了一种改进的 KD 流程，最后在 Waymo 数据集上进行了大量实验，实现了比教师模型更高的精度和更快的运行速度。

May, 2022

简化：降低 3D 点云语义分割的任务和模型复杂度

本文提出了一种基于稀疏深度可分离卷积模块的新型管道，该管道通过减少网络参数数量并保留整体任务性能，需要更少的地面真实注释来实现优越的分割准确性，并提出了一个新的用于处理 3D LiDAR 点云数据的样本下采样方法，与现有方法相比具有更好的性能，同时在有限的训练数据上也表现出显着的性能提高。

Mar, 2023

基于点云到体素的知识蒸馏技术用于 LiDAR 语义分割

本文提出了一种基于点到体素知识蒸馏的方法，通过将隐藏层的知识从点级别和体素级别进行转移，采用困难感知的采样策略和点 - 体素相似度蒸馏，提高了 LiDAR 语义分割任务中教师模型向学生模型的知识压缩效果，同时在两个流行的基准数据集上实现了优于现有方法的精度和速度。

Jun, 2022

使用内存高效稀疏卷积的自动驾驶实时三维语义占位预测

自动驾驶车辆中，实时理解自身车辆周围的三维环境至关重要。本文介绍一种从前视二维相机图像和 LiDAR 扫描中提取特征并使用稀疏卷积网络（Minkowski Engine）进行三维语义占用预测的方法，以解决实时应用中的高计算需求和稀疏场景完整性的问题。

Mar, 2024

基于知识蒸馏的高效医学图像分割

我们提出了一种高效的网络结构，通过从训练充分的医学图像分割网络中提炼知识来训练另一个轻量级网络，从而使得轻量级网络在保留其运行效率的同时，显著提高了其分割能力。通过使用我们为医学图像分割量身定制的新颖蒸馏模式，从教师网络向学生网络传递语义区域信息，避免了处理医学图像时遇到的模糊边界问题。在我们的实验中，轻量级网络的性能提高了 32.6％，同时在推理阶段保持了可移植性，并在 LiTS17 和 KiTS19 两个公认的公共 CT 数据集上进行了验证。

Aug, 2021

使用稀疏点 - 体卷积搜索高效的 3D 架构

提出了一种轻量级的 Sparse Point-Voxel Convolution 模块作为基础，通过基于 SPVConv 的灵活体系结构设计空间，实现了 3D Neural Architecture Search 以搜索高效而有效的网络体系结构，并将该方法应用于自动驾驶和 3D 目标检测领域，取得了较好的实验结果。

Jul, 2020

T3DNet: 用于轻量级三维识别的压缩点云模型

本文提出了一种名为 T3DNet 的方法，通过辅助监督和网络增强，将 3D 点云模型进行压缩，实现高压缩比率而保持较高的准确性。

Feb, 2024

带有结构感知损失函数的 3D 图嵌入学习在点云语义实例分割中的应用

本论文提出了一种新的 3D 语义实例分割方法，利用子流形稀疏卷积网络同时生成语义预测和实例嵌入，通过结构感知的损失函数和基于关注度的 k 最近邻算法获取区分嵌入，加入图卷积网络以获取精细嵌入并输出语义和实例预测，实验结果表明该方法在 ScanNet 基准和 NYUv2 数据集上优于所有最先进方法.

Feb, 2019

从 3D 到鸟瞰图的知识蒸馏用于 LiDAR 语义分割

该研究提出了一种有效的三维（3D）到 Bird's-Eye-View（BEV）知识蒸馏方法，将丰富的知识从基于 Voxel 的模型传递到基于 BEV 的模型，该方法应用于自动驾驶领域的 LiDAR 点云分割任务中，明显提高了准确性，SemanticKITTI 数据集是该研究的实验验证平台。

Apr, 2023