May, 2024

蒸馏剪枝：一种用于边缘设备上实时立体匹配网络的高效压缩框架

PDF
TL;DR通过知识蒸馏和模型修剪的策略，我们提出了一种有效的方法来解决速度和准确性之间的权衡问题，并在边缘设备上实现了保持实时性能的同时提供高准确性的模型。
real-time stereo matching methodsknowledge distillationmodel pruningtrade-off between speed and accuracyedge devices
发现论文，激发创造
  • 结构化剪枝学习紧凑而精确的模型

    提出 CoFi（粗细粒度剪枝）方法，该方法结合了粗细粒度模块的剪枝决策，并采用分层蒸馏策略将知识从未剪枝模型转移到已剪枝模型，使模型同时拥有与蒸馏方法相当的精度和延迟优势，而无需使用无标注数据。在 GLUE 和 SQuAD 数据集上的实验表明，CoFi 方法在速度和精度方面相对于以前的剪枝和蒸馏方法具有更高的效率和效果。

    Apr, 2022

  • DeepPruner: 通过可微分 PatchMatch 学习高效的立体匹配

    本研究通过开发可微分的 PatchMatch 模块来显著加快现有最先进立体视觉算法的运行时间，从而实现实时推断，并进一步创新性地利用图像引导优化模块来进一步提高性能。实验结果表明，该方法在 KITTI 和 SceneFlow 数据集上具有竞争力的结果，并能以 62ms 的实时速度运行。

    Sep, 2019

  • 剪枝模型优于压缩之后再蒸馏

    本文提出了一种新的 “剪枝再蒸馏” 的框架，该框架在知识蒸馏中先对模型进行了剪枝以使其更易于转移，并且理论证明了剪枝后的教师模型在知识蒸馏中扮演了正则化器的作用，并减少了泛化误差。最后，我们提出了一种新的神经网络压缩方案，其中的学生网络是基于剪枝后的教师网络构建，然后采用 “剪枝再蒸馏” 的策略进行蒸馏。

    Sep, 2021

  • 参数修剪的数据集蒸馏

    本研究提出了一种基于参数剪枝的数据集精简方法，可以通过删除难以匹配的参数来产生更强韧的数据集，提高精简效果和性能，实验结果表明该方法优于其他现有技术。

    Sep, 2022

  • EPSD: 早期剪枝与自蒸馏用于高效模型压缩

    提出了一种名为早期修剪与自我蒸馏（EPSD）的框架，它在给定自我蒸馏任务的早期修剪中识别和保留可蒸馏的权重，通过两步骤的过程高效地将早期修剪和自我蒸馏相结合，以保持修剪网络的可训练性进行模型压缩。

    Jan, 2024

  • 数据剪枝中的知识提取

    通过集成知识蒸馏技术，本文探讨在数据修剪过程中的应用，证明了使用简单随机修剪方法优于复杂的修剪方法，并研究了修剪程度与知识蒸馏权重的关系，以及教师网络规模对准确性的影响。

    Mar, 2024

  • 少样本知识蒸馏用于高效网络压缩

    本论文中，我们提出了一种新的知识蒸馏方案，通过从无标签的少样本数据中提取知识，以实现数据效率和训练 / 处理效率。这种方法可以在不到几分钟的时间内，恢复学生网络的准确性，使用仅全量数据的 1％而不需要传统的微调方法。

    Dec, 2018

  • LAPTOP-Diff：层剪枝和规范蒸馏用于压缩扩散模型

    在 AIGC 时代，通过引入层修剪和标准化蒸馏（LAPTOP-Diff）压缩扩散模型的 U-Net，我们实现了 50% 的修剪比例下 PickScore 仅下降 4.0%，优于其他方法的 8.2%。

    Apr, 2024

  • 快速 Transformer 的块剪枝

    本文提出了一种针对小型、快速模型的块删剪方法，可同时考虑任何大小的块并将其结构整合到微调的移动删剪范例中。这种方法可以学习删剪出底层模型的完整组件，包括注意头，比如，实验结果在速度和大小上与精简模型相比相当有竞争力，SQuAD v1 上的 2.4 倍速度、74％ 更小的 BERT，F1 减少 1%。

    Sep, 2021

  • 蒸馏修剪：使用合成数据赢得彩票

    利用精炼数据来修剪深度学习模型的新方法，通过捕捉精髓模式并利用其能力实现资源高效的神经网络修剪、模型压缩和神经架构搜索。

    Jul, 2023