Dec, 2014

Fine-tuned CP 分解加速卷积神经网络

PDF
TL;DR该研究提出一种使用张量分解和有区别的微调方法来加速卷积神经网络中的卷积层，并且在两个 CNN 上进行验证并表明它具有与以前方法相竞争的性能，能够获得较高的 CPU 加速和较小的精度下降，这对于图像分类具有很大帮助。
发现论文，激发创造
  • 使用张量幂法进行 CP 分解压缩卷积神经网络

    基于张量分解和张量幂法的卷积神经网络压缩方法及迭代微调优化策略实现了较高的压缩比和减少了内存和计算成本，相比现有工作在不丢失精度的情况下实现了显著的优化。

    Jan, 2017

  • 低秩正则化的卷积神经网络

    这篇论文提出了一种用于加速 CNNs 的基于张量分解的技术，并且发现使用降秩限制的 CNNs 除了速度更快之外，有时候性能也表现更好，在进行了对比测试后，尤其是对于 VGG-16 模型，在性能无损的同时，前向传播时间可以缩短一半，从而证明低秩张量分解在加速大型 CNNs 方面是非常有用的工具。

    Nov, 2015

  • 低秩扩展加速卷积神经网络

    本文介绍了两种简单的方案，利用交叉通道或过滤器冗余构建低秩滤波器基，从而显著加速卷积层。我们使用应用于实际网络中的这些方法，以不降低精度的速度获得了 2.5 倍和在不到 1％精度下降的情况下获得了 4.5 倍的加速比，仍然在标准基准上实现了最先进的场景文本字符识别。

    May, 2014

  • 卷积神经网络压缩的稳定低秩张量分解

    本研究是对卷积核张量分解退化性的第一项研究。我们提出了一种新方法，可以稳定卷积核的低秩近似，同时保证神经网络的高性能。在流行的 CNN 体系结构上评估我们的方法并显示它提供一致性的性能。

    Aug, 2020

  • 通过深度张量分解实现卷积神经网络的端到端学习

    本文研究了通过 Deep Tensor Decomposition 算法来学习深度卷积神经网络，理论上可以在样本数大于网络中总卷积权重数时提高数据利用效率并验证了实际有效性和理论结果。

    May, 2018

  • 加速用于分类和检测的非常深的卷积网络

    本文旨在加速卷积神经网络（CNNs）的测试时间计算，特别是对计算机视觉领域产生重大影响的非常深的 CNNs。通过开发一种不需要随机梯度下降（SGD）的有效解决方案，解决产生的非线性优化问题，我们提出了一种新的非线性方法，在对多个层进行逼近时实现了一种不对称重建，以减少快速积累误差，并成功地在 Object detection 中实现了优雅的精度降级。

    May, 2015

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 高速卷积神经网络的自动排名选择

    本文提出了一种通过组合优化实现网络复杂度最小化以及保持精度不变的方案，利用线性近似的精度函数预测了优化后 CNN 模型的精度，并在 AlexNet 和 VGG-16 上的实验结果表明，与截断 SVD 算法相结合，我们提出的排名选择算法在推理和训练时间方面优于现有技术。

    Jun, 2018

  • 使用张量分解加速训练

    本文提出一种使用张量分解减少模型训练时间的方法，通过在原始架构下训练模型一小段时间后对其进行分解，在没有准确度损失或仅有 1.5％的准确度降低的同时训练速度提高了最多 2 倍，而且在 CPU 和 GPU 平台上均可使用。

    Sep, 2019

  • 非线性卷积网络的高效准确近似

    本文旨在加速深度卷积神经网络的测试时间计算，通过最小化非线性响应的重建误差，附加一种低秩约束，以帮助降低过滤器的复杂度，该算法可以减小多层输入的叠加误差并提高模型精度，可将 ImageNet 的训练速度提升 4 倍，精度提高 4.7%。

    Nov, 2014