跨维度网络的希尔伯特蒸馏

Nov, 2022

Hilbert Distillation for Cross-Dimensionality Networks

Dian Qin, Haishuai Wang, Zhe Liu, Hongjia Xu, Sheng Zhou...

TL;DR本文提出了一种全新的基于希尔伯特曲线的跨维度蒸馏方法 (HD)，通过将 3D 特征转换为一维连续的空间填充曲线，将 3D 网络的知识迁移到提高 2D 网络性能，进一步提出了一种动态调整步幅的变长度希尔伯特蒸馏方法 (VHD)，可以更好地学习激活特征，相比现有的跨维度蒸馏技术，实验表明本文提出的算法在两个分类任务上性能更优，而且所蒸馏的 2D 网络具有与 3D 网络相媲美的性能水平，证明轻量级的蒸馏 2D 网络可以成为麻烦的 3D 网络的替代品之一

Abstract

3d convolutional neural networks have revealed superior performance in processing volumetric data such as video and medical imaging. However, the competitive performance by leveraging 3D networks results in huge computational costs, which are far beyond that of →

3d convolutional neural networks hilbert curve-based cross-dimensionality distillation 2d networks structural information variable-length hilbert distillation

发现论文，激发创造

室内场景解析的三维到二维提炼

该论文提出了一种新的室内场景语义分割方法，使用一个新的 3D-to-2D 分解框架，可以从大规模的 3D 数据中提取 3D 特征，以增强从 RGB 图像中提取的 2D 特征，并通过对其进行标准化和语义相关的对抗性训练对其进行改进。

Apr, 2021

利普希茨连续性引导的知识蒸馏

提出了一种基于 Lipschitz continuity 的知识蒸馏框架，通过最小化两个神经网络的 Lipschitz 常数之间的距离，从而准确地蒸馏知识并实现了性能的提高。在多个知识蒸馏任务上的实验结果表明，该方法优于其他基准方法，并在 CIFAR-100、ImageNet 和 PASCAL VOC 数据集上取得了良好的表现。

Aug, 2021

卷积神经网络中关键路径精简

通过分析卷积神经网络中的滤波器激活、梯度和可视化滤波器的功能，我们揭示了信息流的关键路径，并以其排他性的内在属性为基础，提出了一种关键路径蒸馏方法，可以有效地将卷积神经网络定制为具有更小的模型大小和更少计算量的小型网络。

Oct, 2018

双重自我蒸馏的 U 型网络用于三维医学图像分割

本文提出了一种新颖的双自蒸馏（DSD）框架，该框架适用于 U 形网络进行三维医学图像分割，通过在 U 形网络的背骨架构上附加 DSD，有效地提高了分割性能，其中 Dice 相似度分数提高了 4.25％至 3.15％

Jun, 2023

PartDistill: 视觉语言模型蒸馏下的三维形状部分分割

该研究提出了一个跨模态蒸馏框架 PartDistill，将二维视觉 - 语言模型的知识转移给三维形状的部分分割，通过解决三个主要挑战（二维投影中不可见或未检测区域的三维分割缺失、VLM 的二维预测不准确和不一致、不同三维形状之间的知识积累不足），PartDistill 在该任务中取得了显著的进展。通过在框架内进行正向和反向的蒸馏，PartDistill 能够提高最终的三维部分分割结果，并且可以利用生成模型生成用于蒸馏的知识源。在广泛使用的 ShapeNetPart 和 PartE 数据集上进行的大量实验证明，PartDistill 相比现有方法在 mIoU 分数上显著提升，分别高出 15% 和 12%。

Dec, 2023

自动驾驶中图像表征向点云的蒸馏重新审视

自监督图像网络在解决复杂的 2D 任务（如语义分割、目标发现）时非常高效且几乎没有下游监督要求，然而，当前基于激光雷达数据的自监督 3D 网络表现不佳，因此有几种方法提议将高质量的自监督 2D 特征转移到 3D 网络中，最近在自动驾驶数据上进行的尝试显示了有希望的结果，然而，这些转移后的特征与完全监督的特征之间仍然存在差距，本文重新审视了 2D 到 3D 转移，首先，针对语义分割，我们提出了一种简单的方法，相对于之前的 3D 转移方法实现了显著的提高，其次，我们证明了在高容量的 3D 网络中进行转移对于获得高质量的 3D 特征至关重要，这实际上使我们能够显著缩小无监督转移的 3D 特征与完全监督特征之间的差距，最后，我们表明我们所得到的高质量转移表示还可以用于开放词汇的分割和背景 / 前景发现。

Oct, 2023

3D 各向异性混合网络：将卷积特征从 2D 图像转移到 3D 各向异性体积

研究提出了一种 3D Anisotropic Hybrid Network (AH-Net) 来解决卷积神经网络在 3D 非均质体积下的数据不足和计算量增大的问题，并在两个医学图像分析任务上获得了当今最先进的结果。

Nov, 2017

D3D: 视频动作识别的精简三维网络

该论文研究了使用 3D CNNs 进行动作识别时，使用两个网络（时空流和时间流）的效果，并发现在时间流中存在动作表示，但其在时空流中缺失；另外也展示了如何通过引入蒸馏方法，将时空流中缺失的动作信息膨胀输出，进而提高 3D CNNs 的准确率。

Dec, 2018

通过蒸馏法获得推广界限

该论文从理论上研究了高复杂度网络的蒸馏问题，并使用了数据增强来展示它的好的泛化性，并配合计算图缩减技术和实验来证明它具有实际应用价值。

Apr, 2021

一即全：渐进式体积蒸馏在神经辐射场架构之间的桥梁

本文提出了一种系统的提炼方法 Progressive Volume Distillation，该方法可以让各种神经结构包括 MLP、稀疏或低秩张量、哈希表和它们的组合之间实现任意转换，从而使得各种下游任务可以在后期对神经表示进行最佳适应。

Nov, 2022