May, 2024

分位点激活：离开单点估计以获得更好的对扭曲的泛化能力

PDF
TL;DR通过将每个神经元的输出调整为其上下文分布，本文提出了量化激活（QACT）方法，该方法在简单网络中输出样本在其上下文分布中的相对分位数，以实现跨分布的更好泛化。我们验证了该方法在几个实验设置上的有效性，并将其与传统技术进行比较，结果表明我们在对抗扭曲的不同架构下实现了显著更高的泛化性能。尽管本文只是一个概念验证，但令人惊讶的是，即使 DINOv2 使用更大的网络和更大的数据集进行训练，在大的扭曲下该方法依然胜过 DINOv2（small）模型。
发现论文，激发创造
  • 通过固定和动态量化激活函数来防御深度神经网络对抗性示例

    本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。

    Jul, 2018

  • QGen：关于量化感知训练的泛化能力

    使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法，通过在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上对卷积和 Transformer 模型进行超过 2000 次实验进行验证。

    Apr, 2024

  • 针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

    本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。

    Jul, 2018

  • 离散神经网络的松弛量化

    本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

    Oct, 2018

  • 使用激活正则化减轻离群通道对于语言模型量化的影响

    准确的量化是语言模型的关键问题之一，我们研究了激活量化中的异常通道现象，并提出了一种调节输入和输出的策略，通过量化感知训练和激活峰度正则化来实现精确的 4 位参数量化。与权重后训练量化相结合，我们的方法可以获得与标准精度基准相竞争的 W4A4 模型。

    Apr, 2024

  • QDrop：一种用于极低位后训练量化的随机丢弃量化方法

    本文提出了一种新的方法，即将 activation quantization 纳入 post-training quantization 中，随机放弃激活量化，从而将 PTQ 的极限推向了 2 位。最终结果表明，QDROP 在图像分类、目标检测和文本分类任务中具有优异的表现，成为了 PTQ 现有技术中新的最佳方法。

    Mar, 2022

  • 关于分类的分布式量化

    本文提出了一种分布式量化方案，旨在用训练数据为分类器设计量化器，不需要先验数据假设，而是专注于正确分类，可在任何特征数、任何类别数和任意特征分布的情况下进行多项式时间量化算法的设计。结果表明，将量化器适应于分类任务可以获得显着的节省，并可在保持预测精度不变的情况下将比特通信数量减少超过两倍。

    Nov, 2019

  • 分布式泛化：一种新的泛化类型

    我们引入了一种新的泛化概念 ——Distributional Generalization，旨在研究分类器在训练和测试时的输出在 * 分布上 * 的相似性，本文给出了与此相关的形式上的猜想并提供了跨多个领域的实证证据。

    Sep, 2020

  • ProbAct: 一种用于深度神经网络的概率激活函数

    本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。

    May, 2019

  • PACT: 量化神经网络的参数化剪切激活

    提出一种新的量化方案 PACT，可以在不降低准确性的情况下将激活量化至任意位精度，同时以 4 位精度量化权重和激活时能获得与完全精确网络相当的准确性，可以在硬件上获得超线性的推理性能提升。

    May, 2018