我们通过导出上下界的极小极大逼近误差，确定了基于有限精度权重的深度 ReLU 神经网络逼近 Lipschitz 函数的三种情况：欠量化、过量化和适当量化。乍一看，深度网络在逼近 Lipschitz 函数时表现出内在的记忆有效性，与浅层网络相比，具有固有优势。此外，我们还发展了深度和精度之间的权衡概念，表明具有高精度权重的网络可以转化为具有低精度权重的功能等效更深层的网络，并保持记忆有效性。这个想法类似于 sigma-delta 模数转换，在信号样本的量化中超采样率与分辨率之间进行权衡。我们改进了对 Lipschitz 函数的 ReLU 网络逼近结果，并描述了一种独立通用的位提取技术的改进。

May, 2024

通过 ReLU 神经网络，我们考虑了一类具有较小正则性假设的有界函数的逼近问题。我们展示了逼近误差可以由目标函数的均匀范数和网络宽度与深度的乘积的倒数来上界。我们从傅里叶特征残差网络中继承了这个逼近误差界，傅里叶特征残差网络是一种使用复指数激活函数的神经网络。我们的证明是具有建设性的，并通过对傅里叶特征残差网络逼近 ReLU 网络的复杂性分析进行。

May, 2024

本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

Nov, 2015

本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案，以在达到压缩比约束的前提下最小化网络量化的性能损失，并进行了 LeNet，32 层 ResNet 和 AlexNet 的压缩实验。

Dec, 2016

本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

Jul, 2019

研究一维 Lipschitz 函数的逼近中，深层 ReLU 网络比浅层网络更有效地逼近光滑函数，采用自适应深度 6 网络体系结构比标准浅层网络更有效。

Oct, 2016

本文研究了经典神经网络的普适逼近定理在量子设置下的拓展，通过参数化量子电路近似传统函数，并提供精确的误差界，并将结果推广到模拟经典储备神经网络的随机量子电路。结果表明，一个具有 O (ε^-2) 个权重和 O (⌈log_2 (ε^-1)⌉) 个量子比特的量子神经网络可以在近似具有可积傅里叶变换的函数时达到精度 ε>0。

Jul, 2023

本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署，通过引入通用向量量化和通用源编码，实现了通用的深度神经网络压缩，并尝试运用通用随机格量化方法来随机化神经网络权重，证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。

Feb, 2018

该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

Nov, 2019

通过改变神经网络的结构和权重的位数，本文比较了硬件实现中神经网络规模和权重量化对网络性能的影响，提出了在硬件资源有限的情况下，指导网络规模和权重精度平衡的有效压缩比。

Nov, 2016