CVPRApr, 2020

使用熵约束训练三值神经网络来学习稀疏性和三值性

PDF
TL;DR提出了一种利用熵约束技术创建稀疏三元神经网络的通用框架，以提高存储和计算效率，同时验证了该框架在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上进行图像分类任务的有效性.
deep neural networksentropy-constrained trained ternarizationsparse and ternary networksimage classificationresource-constrained devices
发现论文，激发创造
  • 用于资源高效人工智能应用的三元神经网络

    本文提出了基于三值神经网络和师生模型的新型深度学习方法，并在 FPGA 和 ASIC 硬件上实现；相比现有技术，该方案在提高准确率的前提下，节约了高达 3.1 倍的能源。

    Sep, 2016

  • 训练三值量化

    本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

    Dec, 2016

  • 使用三值网络中的稀疏诱导正则化压缩低精度深度神经网络

    本文提出了一种低精度深度神经网络训练技术，用于生成稀疏三元神经网络，该技术在训练期间考虑硬件实现成本，以实现重要的模型压缩，结果网络精度提高、内存占用和计算复杂性减少，与传统方法相比，在 MNIST 和 CIFAR10 数据集上，我们的网络稀疏度高达 98％，比等价二进制和三进制模型小 5＆11 倍，从而在硬件实现方面具有重大资源和速度优势。

    Sep, 2017

  • 利用截断高斯近似同时优化三值神经网络的权重和量化器

    本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

    Oct, 2018

  • 基于熵的深度神经网络引导加速收敛与提升性能

    通过引入基于熵的损失项，我们提出了一种新的方法来加强神经网络学习丰富的潜在数据表示，在更少的维度上收敛于更好的测试指标，并在图像压缩和图像分类的实验中展示了其有效性。

    Aug, 2023

  • 为高效视频识别最大化深度 3D CNN 的时空熵

    该研究提出了一种新的无需训练，基于最大熵原则的 3D CNN 信息系统熵评价方法，通过在给定计算预算下，使用进化算法最大化评分以实现高效、具有表达力的 3D CNN 体系结构的自动设计，从而在视频识别方面实现了最先进的性能和更高的计算效率。

    Mar, 2023

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024

  • 通过加权稀疏投影和层输入屏蔽的深度神经网络能量限制压缩

    借助加权稀疏投影和输入屏蔽提供量化能量消耗保证的第一个端到端深度神经网络 (DNN) 训练框架，将 DNN 训练作为优化问题，以能量预算为约束条件，将定量 DNN 能量估计集成到 DNN 训练流程中，证明有效的近似算法可以用来高效地解决优化问题。与最好的先前节能方法相比，我们的框架在相同或更低的能量预算下训练出提供更高准确性的 DNN。

    Jun, 2018

  • 使用三值化权重优化深度卷积神经网络并获得高准确度

    本研究提出了统计权重缩放和残差扩展的方法，将深度卷积神经网络权重参数压缩到三元值，以大幅减少模型大小和计算成本，并在 CIFAR-10 和 ImageNet 数据集上验证此方法的有效性和优越性。

    Jul, 2018

  • 深度神经网络的熵受限训练

    该研究提出了一种神经网络压缩的通用框架，通过最小描述长度原则和熵来量化其复杂度并使用基于梯度的优化技术实现了优秀的压缩结果。

    Dec, 2018