Mar, 2023

使用权重修剪和奇异值分解在嵌入式设备上的可扩展目标检测

PDF
TL;DR本文提出了一种将权重剪枝和奇异值分解相结合的方法来优化目标检测模型，作者通过与原始模型在帧率、mAP@50 和模型大小等方面性能的对比令其表现更加优越，进而证明该方法可以在保持准确性、速度和模型大小平衡的基础上有效地优化目标检测模型。
object detectionweight pruningsingular value decompositionperformance comparisonoptimization
发现论文，激发创造
  • 语言模型加权低秩估计的数值优化

    我们提出了一种加权奇异值分解压缩 Transformer 的语言模型的方法，该方法考虑了神经网络参数的不平等重要性，并解决了没有封闭形式解决方案的非凸优化问题。实验结果表明，相较于传统的 SVD 方法，在压缩 Transformer 的语言模型时，我们的方法可以获得更好的效果。

    Nov, 2022

  • 单次拍摄视频目标检测器

    本文介绍了一种用于视频中物体检测的新架构 SSVD，通过对相邻帧的特征进行聚合和估算运动路径，实现了单阶段物体检测。在 ImageNet VID 数据集上进行的实验证明，该方法比现有的物体检测方法更为有效。

    Jul, 2020

  • 卷积权重的奇异值分解：一种 CNN 可解释性框架

    本文提出一种基于张量的奇异值分解的方法，用于理解卷积层的动态过程和发现卷积特征之间的相关性，以及在图像分类网络中应用超图模型进行可解释性研究。

    Aug, 2022

  • 通过尺度 - 时间网格优化视频目标检测

    本文探讨了一种基于时间空间计算的高效物体检测方法，通过在规模，时间和空间上重新配置计算来实现性能和计算成本的平衡，提出了一个统一的框架，在 ImageNet VID 数据集中实现了具有竞争力的 mAP 79.6％。

    Apr, 2018

  • 行人检索的 SVDNet

    该论文提出了一种基于 SVDNet 的人物再识别方法，通过优化深度表示学习过程并使用正交约束迭代训练，可以有效降低投影向量之间的相关性，并显著提高 re-ID 准确性。

    Mar, 2017

  • 通过奇异向量正交正则化和奇异值稀疏化学习低秩深度神经网络

    本研究提出了一种名为 SVD training 的神经网络压缩方法，通过正交性正则化和奇异值剪枝等技术，可以在训练过程中显式地实现降低矩阵秩的目标，从而更有效地减少 DNN 算法在低性能设备上的计算负担。

    Apr, 2020

  • 基于 SVD 的加权剪枝提升上下文学习性能：理论视角

    基于 Transfomer 的预训练大型语言模型（LLM）展示了令人惊叹的上下文学习能力（ICL）。在本文中，我们展示了基于 SVD 的权重剪枝可以增强 ICL 性能的有趣现象，并且在深层剪枝权重通常导致浅层性能的更稳定的改善。然而，这些发现的基本机制仍然是一个悬而未决的问题。为了揭示这些发现，我们通过展示 ICL 的隐式梯度下降（GD）轨迹，并通过完全的隐式 GD 轨迹给出基于互信息的 ICL 泛化界限进行了深入的理论分析。这有助于我们合理地解释令人惊讶的实验结果。此外，基于所有的实验和理论观察，我们直观地提出了一个用于增强 ICL 推断的简单、压缩模型和无导数的算法。在基准数据集和开源 LLM 上的实验证明了该方法的有效性。

    Jun, 2024

  • 利用尺度不变和特征重新加权网络进行三维物体检测

    本文介绍了一种新型网络架构，利用前视图像和视锥形点云生成三维检测结果，使用 PointSIFT 模块和 SENet 模块来提高三维分割的性能和有效地估计三维边界框，实验结果表明该方法在使用高度稀疏的点云时比现有方法表现更优，广泛应用于室内和室外的实际场景中的三维物体检测。

    Jan, 2019

  • 加权低秩分解语言模型压缩

    提出了一种基于 Fisher 信息的 SVD 压缩方法（FWSVD），它可以通过加权计算参数的重要性来降低模型压缩中优化目标与模型任务的目标不匹配的问题，该方法适用于任务特定模型并且可以取得比其他紧凑模型策略更好的性能和更高的压缩率。

    Jun, 2022

  • 深度分解：在高效卷积神经网络中加速可分离卷积

    本文提出了一种基于 SVD 的分解方法，将常规卷积扩展为深度可分离卷积，从而在维持高准确性的同时，优于通道分解方法，提高了 ShuffleNet V2 模型的 Top-1 准确率约 2％。

    Oct, 2019