无需采样的贝叶斯量化神经网络学习
本研究介绍了一种训练低精度神经网络的方法,该方法使用二进制操作代替计算,达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试,结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率,训练过程中也能使用仅有的二进制操作实现损失函数的计算,并在损失部分的代码上进行了优化,使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍,并且没有影响分类准确性。
Sep, 2016
本文提出了一种新的量化方法,可以确保量化值分布的平衡性,通过对参数进行分位数递归划分并应用均匀量化,可以提高 QNN 的预测准确性,同时对训练速度几乎没有影响,并可适用于卷积神经网络和循环神经网络。
Jun, 2017
通过选择性地通过梯度敏感性分析评估确定性显著性,本研究引入了对稀疏(部分)贝叶斯网络的训练过程。通过将确定性参数与贝叶斯参数相结合,充分利用两种表示的优点,实现了高效的特定任务性能和最小化的预测不确定性。在多标签 ChestMNIST 分类和 ISIC、LIDC-IDRI 分割任务上表现出了有竞争力的性能和预测不确定性估计,相比完全贝叶斯化和集合方法,能够显著减少 95% 以上贝叶斯参数,从而大大降低计算开销。
Jun, 2024
本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ,可以自动搜索每个权重核的量化位宽,以及每个激活层的另一个量化位宽,并极大地提高了卷积神经网络的推断性能,同时保持了推断精度。
Feb, 2019
本文提出了一种基于带限傅里叶展开的量子感知器(QPs)转移函数的模型,用于设计可扩展的训练过程的量子神经网络(QNNs),并在其中添加了一种随机化的量子随机梯度下降技术,消除了样本复制的需要,并证明该训练过程期望收敛于真实最小值,这有助于提高数据效率和遵守禁止复制规则。
Mar, 2022
本研究通过对 10 种常见的推断方法在回归和分类任务中的预测不确定性估计结果进行实证比较,发现常用的指标可能会导致误导,并表明为了得到高质量的后验逼近并不一定需要具有捕获后验结构的推断创新。
Jun, 2019
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法,其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题,并通过将权重建模为高斯随机变量的方法,使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示,并与现有技术进行了比较。
Oct, 2021