Oct, 2019

镜像下降视角下的神经网络量化

PDF
TL;DR本研究提出了基于 Mirror Descent 框架的神经网络量化方法，通过引入镜像映射和多重辅助变量能够高效地实现神经网络的量化，并在经典数据集上展示了其比目前先进的性能。
neural networksquantizationmirror descentauxiliary variablesstate-of-the-art performance
发现论文，激发创造
  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 稀疏 Q 学习和镜像下降

    该论文探讨了基于在线凸优化的强化学习的新框架，特别是镜像下降及相关算法，提出了一种新的类似于梯度下降的迭代方法。其中，基于不同 Bregman 散度的抛物线梯度强化学习法比常规 TD 学习更为普适。还提出了一种新型的稀疏镜像下降强化学习方法，相比之前基于二阶矩阵方法的方法，在寻找一个 l1 正则化 Bellman 方程的稀疏不动点时具有显著的计算优势。

    Oct, 2012

  • 神经网络量化的近端均场方法

    本文研究了将神经网络量化作为离散标记问题，并通过检查松弛度，设计了一种有效的迭代优化过程。我们的实验表明，我们的算法可以获得准确度非常接近浮点参考网络的完全量化网络。

    Dec, 2018

  • 镜像下降统一控制隐式正则化方法

    本文使用镜像下降方法来解决深度神经网络优化算法中的隐含正则化问题。

    Jun, 2023

  • 数据集量化

    用于训练任何神经网络架构的新的数据集压缩方法 (DQ) 能够通过压缩大规模数据集生成精简小数据集，实现了无损模型训练的最新压缩比，可用于视觉任务和语言任务。

    Aug, 2023

  • 约束扩散模型的神经近似镜像地图

    扩散模型与约束、镜像扩散模型、神经近似镜像映射和约束逆问题相关，通过学习镜像空间和映射方法改善扩散模型的约束满足性和解决约束逆问题的可靠性。

    Jun, 2024

  • 马尔可夫链镜像下降在数据联合中的应用

    该研究提出了一种名为 MarchOn 的随机镜像下降的新版本，应用于联合学习的场景，通过分析该方法的新框架，获得了凸性、强凸性和非凸性损失函数的最佳收敛速度，最后通过实证研究验证了理论结果。

    Sep, 2023

  • 离散神经网络的松弛量化

    本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

    Oct, 2018

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • 神经策略镜面下降在低维流形上的策略优化的样本复杂度

    深度策略算法解决高维度策略优化问题取得了巨大成功，但目前的分析无法解释它们为何对维度诅咒具有抵抗能力。本研究以卷积神经网络作为函数逼近器，研究了神经策略镜像下降 (NPMD) 算法的样本复杂性。通过观察高维度环境具有低维结构的经验现象，例如图像作为状态的环境，我们认为状态空间是嵌入在欧几里得空间中的 d 维流形，其中 d 远小于 D。我们证明在 NPMD 的每次迭代中，值函数和策略都可以很好地近似于卷积神经网络。逼近误差由网络的大小控制，并且可以继承以前网络的平滑性。因此，通过适当选择网络大小和超参数，在期望中，NPMD 可以通过大约 O (ε^(-d/α-2)) 个样本找到一个 ε- 最优策略，其中 α ∈ (0,1] 表示环境的平滑性。与以前的研究相比，我们的结果显示 NPMD 可以利用状态空间的低维结构，摆脱维度诅咒，从而解释深度策略算法的有效性。

    Sep, 2023