binary weights | BriefGPT - AI 论文速递

关键词binary weights

搜索结果 - 13

混合规模：大型语言模型的内存高效自适应二值化
引入了一种名为二进制混合缩放（BinaryMoS）的新型二进制化技术，它采用多种尺度专家和自适应生成尺度因子的方式，通过上下文调整二进制权重值，提高二进制化语言模型的表示能力，同时与传统静态二进制化方法保持相似的压缩效率，并在各种自然语言处
PDF16 days ago
基于规则表示学习器的可解释贷款信用评估方法
本文提出了一种基于 RRL 的内在可解释模型，其可对每个特征分成三类构建三个类似于神经网络的子网络，每个子网络均可等效转换为一组规则，并通过学习二进制权重的技巧有效地训练，相比可解释的决策树在性能上更优，接近于其他黑匣子，是对金融机构和借款
PDFa year ago
在随机二元网络中找到一切
本文证明，过度参数化的、随机初始化的神经网络可以裁剪成仅由二进制 ±1 权重构成的多项式深度与宽度的网络，以任意精度逼近目标网络。
PDF3 years ago
基于脉冲卷积神经网络中的尖峰时间位移误差反向传播
本文在先前提出的 STiDi-BP 算法基础上，使用线性逼近计算膜电位对尖峰潜伏期的导数，采用分段线性的 postsynaptic potential 的尖峰神经元来减少计算成本和神经处理的复杂度，并将其扩展到更深的 SNN 与卷积架构中，
PDF3 years ago
ICLR用二元神经网络降低深度生成模型的计算成本
本文研究二值神经网络在生成模型中的应用，通过开发一类新的二值权重规范化方法和提供针对这些二值化生成模型的架构设计，成功地训练出使用二值神经网络的生成模型，使得模型的计算成本大幅降低，但损失函数的值接近于原模型，模型体积更小且速度更快。
PDF4 years ago
ICML利用贝叶斯学习规则训练二值神经网络
本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。
PDF4 years ago
朝着精准二值卷积神经网络
本文引入了一种新颖的方案来训练二值卷积神经网络，使用多个二元权重基的线性组合逼近完全精度权重，并采用多个二元激活来减轻信息丢失的问题，最终实现了一个二值卷积神经网络（ABC-Net），能够在适当的二元权重和激活函数基础上，取得与全精度神经网
PDF7 years ago
ICLR使用本地重新参数化技巧学习离散权重
本研究使用 LR-nets（局部重参数网络）的方法，通过对神经网络加入离散权重的简单修改，对于 MNIST、CIFAR-10 和 ImageNet 数据集进行测试，表明用离散权重的二进制和三进制模型在大部分实验中能够取得最先进的结果。
PDF7 years ago
CVPR网络草图：在深度 CNN 中利用二进制结构
本文提出使用网络草图技术进行张量扩展从而生成二值化 CNN 网络，并且在 ImageNet 分类任务上取得了比现有模型更高的准确率。
PDF7 years ago
二值化神经网络：训练深度神经网络，使权重和激活限制为 + 1 或 - 1
本篇论文介绍了一种通过二值化权重和激活训练神经网络的方法，并在 Torch7 和 Theano 框架上进行了实验，在 MNIST、CIFAR-10 和 SVHN 数据集上取得了接近最佳水平的结果。同时，作者提出了一种二进制矩阵乘法 GPU
PDF8 years ago
二值化神经网络
本文介绍了一种对二值化神经网络进行训练的方法，并在 Torch7 和 Theano 两个框架下，对 MNIST、CIFAR-10 和 SVHN 数据集进行了实验，取得了近乎领先水平的结果。通过在前向传递过程中使用二值化的权重和激活值，可以大
PDF8 years ago
NIPSBinaryConnect：二进制权重下的深度神经网络训练
该研究介绍了一种名为 BinaryConnect 的方法，该方法通过对神经网络进行二进制权重的训练和保留梯度累积精度的方式，取代传统神经网络中高昂代价的乘法运算，提高特定硬件上的深度学习性能，并取得了接近最优的结果。
PDF9 years ago
低分辨率突触权重神经网络的舍入方法
本文提出了将高精度神经网络算法映射为低精度（甚至二进制乃至于生物模拟）算法的两种方法，并证明这些方法相比于标准的四舍五入方法在性能上有显著提高，同时探究了三种常见神经网络算法在不同权重分辨率和固定内存大小下的性能表现。
PDF9 years ago