- BDC-Occ: 二值化占据网络的二值化深度卷积单元
通过引入一种新型的二值化深度卷积单元(BDC),有效提高了性能,同时增加了二值化卷积层的数量,从而构建了一种全新的二值化三维占用网络算法(BDC-Occ),该算法已经在综合定量和定性实验证明是目前最先进的二值化三维占用网络算法。
- 驯服二值化神经网络与混合整数规划
通过将训练二值化神经网络的问题重新定义为一个混合整数规划的亚可加性对偶问题,我们展示了二值化神经网络具有一种平滑可控的表示形式,从而使得在二值化神经网络的背景下可以使用 Bolte 等人的隐式微分的框架,为实际实现反向传播提供了可能。此方法 - 使用自动机理论来合成二值化神经网络
该研究论文提出了一种自动机理论方法,通过量化深度神经网络,特别是二值化神经网络,来减少计算与存储成本,并通过表格法实现综合过程,使用 SMT 求解器确定网络的超参数,并在实验中证明其在提高神经网络的个体公平性和局部鲁棒性方面的有效性。
- 多层电阻变换器实现的突触元可塑性
本研究提出了一种基于 memristor 的硬件架构,实现了 QNNs 的元可塑性,并验证了其在 MNIST 和 Fashion-MNIST 上的有效性和鲁棒性。
- 交通标志识别的二值化神经网络架构设计
研究比较卷积神经网络和二值神经网络在识别交通标志上的表现,提出了一种从底层进行二值神经网络架构设计的方法,并且在测试集上取得了高于 80% 的准确率。
- 二元神经网络属性验证的混合整数规划方法
利用混合整数规划公式验证二值化神经网络 (BNN),检查其可行性、MNIST 数据集和飞机冲突避免控制器中的性质,并证明相较于全精度神经网络的最先进的验证算法,通过验证 BNN 节省的时间是值得的。
- 可扩展验证的深度二元强化学习
使用二值化神经网络 (BNNs) 的强化学习算法以提高可验证性的方法,解决了神经网络在安全关键场合应用上不可靠的问题。在训练 Atari 环境中的 BNNs 之后,我们验证了其鲁棒性属性。
- AAAIBNN 的弹性链接
提出了一种 Elastic-Link 模块并结合其他方法对 Binarized Neural Networks 进行训练,结果在 ImageNet 数据集上取得了较大的准确率提升,其中结合 ReActNet 的模型达到了 71.9% 的 t - ICML基于梯度的可解释性方法与二值化神经网络
本文比较了应用在二值化神经网络与全精度神经网络的几种常用显著图解释技术(梯度、平滑梯度和 GradCAM)表现的差异,结果发现 SmoothGrad 方法在 BNNs 时产生明显的噪音地图,而 GradCAM 则在网络类型上产生显著的不同, - 使用图灵 GPU 中的位张量核加速二值神经网络
通过使用新一代 GPU 芯片中的张量核心实现 “二值神经网络” 设计中点乘和卷积的操作,使其在处理 ImageNet 数据集时比现有软件实现快出 77%,从而显著提高性能。
- 二值化神经网络的高效精确验证
本文提出了一种基于 Binarized Neural Networks(BNNs)的验证技术(EEV),可以具有可比较的鲁棒性,并且通过使用一种策略来训练鲁棒性 BNNs,可以实现更快,更准确的验证。EEV 有效,通过在 MNIST 和 C - 潜在权重不存在:重新思考二值化神经网络优化
本文探讨了二值神经网络(BNNs)优化的问题,提出了将潜在权值解释为惯性,并引入了 BNNs 的第一个优化器 ——Binary Optimizer(Bop),以提高训练方法学的效率。该优化器在 CIFAR-10 和 ImageNet 上表现 - 基于随机计算的二值神经网络硬件实现
提出了基于随机计算的 Binarized Neural Networks,其输入也进行了二值化,仿真实验表明这样的网络在 Fashion-MNIST 和 CIFAR-10 数据集上可以接近常规的 Binarized Neural Netwo - 用于人体姿态估计和图像识别的二进制网络的改进训练
本篇论文提出一系列工程技术来改善二值化神经网络的准确性,包括更合适的激活函数、反向初始化、渐进式量化、网络叠加等,并在人体姿态估计和 ImageNet 大规模图像识别任务中验证了其优越性。此外,还首次探讨了二值化神经网络和知识蒸馏相结合的效 - 训练二值化深度神经网络时规范激活分布
本文提出使用分布损失来规范激活流,成功改善了二值神经网络训练中遇到的退化、饱和和梯度失配等问题,并在不影响其能量效率的同时,提高了其准确性。此外,该规范化方法还能使训练过程更加稳健。
- 基于离散反向传播的 1 比特卷积神经网络的投影卷积模型
本文提出了基于投影的卷积神经网络(PCNNs),使用离散的反向传播来提高二值神经网络(BNNs)的性能,并在 ImageNet 和 CIFAR 数据集上实现了比其他最先进的 BNNs 更好的分类性能。
- 基于二值神经网络的分解状态和动作空间规划的紧凑高效编码
本文提供了两种基于加权部分最大布尔可满足性和二进制线性规划的二元化神经网络学习的因子规划问题的新颖编译方法,并验证了其与现有神经网络编码的计算效率的比较,以及它可以学习复杂的转换模型的能力。最后,提供了一种基于广义里程碑约束的有限时间递增约 - 二进制神经网络的组合攻击
本文研究了使用组合和整数优化来攻击二值化神经网络的问题,提出一种混合整数线性规划(MILP)的解决方案。实验表明,与标准梯度攻击(FGSM)相比,所提出的 IProp 算法表现良好,同时超越了 MILP 的限制。
- LightNN: 填补传统深度神经网络与二值化网络之间的差距
本文提出一种新的 DNN 模型 LightNN,它将乘法替换成一次位移或约束数量的位移和加法,为硬件设计者提供了更多在精度和能耗之间取得平衡的选项,并且验证实验表明,LightNN 在大型 DNN 配置下具有优于传统 DNN 和 BNN 的 - 通过神经元因数分解验证二值化神经网络
本研究探讨了二值化神经网络的形式验证问题,并使用硬件验证的约减方法对其进行了验证,通过证明找到最优 factor(因数)的 NP - 难度和 PTAS 可近似难度,设计出了多项式时间搜索启发式解法来生成因数解,整个框架可以应用于具有数千个神