- CVPR超越谎言:使用二进制神经网络的实时深假识别
采用二进制神经网络(BNNs)进行实时图像深伪造检测,以提高效率并取得较高准确率,在频域和纹理域探测操纵痕迹,性能优于现有方法,并显著减少运算量。
- CVPR高效多任务密集预测器通过二值化
利用网络二值化和知识蒸馏机制加快多任务密集预测模型的速度,同时保持甚至提高模型性能。
- 设计抖动符号激活用于二值神经网络
该研究论文提出了使用多阈值的 Dithering Sign 激活函数在二进制神经网络中代替常见的二进制激活函数,实验证明它在分类任务中既能有效地保留特征细节又能保持低计算成本。
- BiPer:使用周期函数的二进制神经网络
通过使用二进制周期函数,将二进制神经网络的前向和反向模型一致化,可以控制量化误差并提高网络性能。在 CIFAR-10 和 ImageNet 数据集上的分类任务中,相比于现有方法,我们的方法能获得高达 1% 和 0.69% 的改进效果。
- 通过对预训练模型进行校准,在二进制网络上进行长尾识别
使用高度资源有效的二进制神经网络作为骨干结构来学习长尾分布,通过校准和蒸馏框架利用平衡数据集上的预训练全精度模型作为教师,结合对目标函数术语的对抗平衡和高效的多分辨率学习方案,在 15 个数据集上对最新的长尾数据集进行了最大规模的实证研究, - CVPRA&B BNN: 仅支持加和位运算的硬件友好型二进制神经网络
二进制神经网络使用 1 位量化的权重和激活来减少模型的存储需求和计算负担。本文提出了 A&B BNN,在传统的 BNN 中直接移除了一部分乘法运算并用相等数量的位运算代替其余部分,引入了掩码层和基于无正则化网络架构的量化 RPReLU 结构 - 使用二进制神经网络实现设备上的持续学习
提出了一种将连续学习和二进制神经网络结合起来的解决方案,同时在设备上进行训练并保持竞争性的性能,该方法利用二进制潜在重播激活和一种新的量化方案,显著减少了梯度计算所需的位数,实验证实了模型的准确性和对内存需求的明显减少,从而扩展了深度学习在 - 使用量子焙烧二元梯度的预测随机梯度下降
我们提出了一种新颖的适用于量子硬件上训练二进制神经网络(BNNs)的逐层随机优化器 QP-SBGD。通过在实践中解决二进制神经网络优化器的挑战,我们展示了该更新规则的收敛性,并介绍了在量子计算中如何有效执行映射和投影操作。此外,该方法逐层实 - 无需浮点精度训练二值神经网络
本研究旨在提高二进制神经网络的训练效率,通过拓扑变化和策略训练提出两种解决方案,使网络能够达到接近最先进性能和高效训练。训练时间和内存需求是实现高效训练的两个因素。
- 提升交通标志识别准确率的高准确性二进制神经网络的局部鲁棒性评估
交通标志、二进制神经网络、本地稳健性、验证工具、VNN-COMP'23
- 基于二进制神经网络的设备上学习
现有的连续学习解决方案只在将深度学习模型部署在低功率嵌入式 CPU 上时部分地解决了功耗、内存和计算的限制。本文提出了一种连续学习解决方案,它结合了连续学习领域的最新进展和二值神经网络(BNN)的高效性,该网络使用 1 位用于权重和激活以高 - ICCVMST 压缩:通过最小生成树压缩和加速二进制神经网络
本文提出了一种名为最小生成树(MST)压缩的新方法,用于学习压缩和加速二值神经网络(BNNs),旨在降低计算成本和延迟,实验结果表明这种方法在资源受限的边缘计算设备上能够显著提高压缩比率并实现可忽略的准确度下降。
- 具有客户端级差分隐私的二进制联邦学习
提出了一种具有差分隐私保证的通信高效的联邦学习训练算法,采用二进制神经网络 (BNNs) 并引入离散噪声以实现客户级别的隐私保护。通过实验证明,该算法在保证隐私的同时,实现了较低的通信开销和性能提升。
- KDD稀疏化二进制神经网络的二进制域泛化
该论文提出了一种新的更一般的二进制域,扩展了标准二进制域,并且更适合剪枝技术,在保证性能的同时提高了压缩率,这种方法与其他修剪策略相结合可以生成高效稀疏网络,并减少内存使用和运行时间延迟。
- ACL二元和三元自然语言生成
采用一种基于统计的权重量化和弹性激活量化的方法实现了第一批三元和双元变压器模型,其在摘要和机器翻译的下游任务中达到了较高的得分,同时比全精度模型高效 16 倍以上。
- 使用位平面编码进行输入层二值化
本文提出一种新方法,使用 8 位表示的输入数据直接对第一层进行二值化处理,并利用标准位平面编码按位提取特征,经过加权和再次融合后得到全二值化模型,该方法在不同神经网络体系结构下验证,比现有技术在准确性和 BMCA (二值乘法计算数) 减少方 - 基于超轻量级二值神经网络的心律失常分类器
本研究提出了一种超轻量的二进制神经网络(BNN),该网络基于心电图信号能够实现 5 类和 17 类心律失常的分类,其实现了最小的已知存储空间,并在 17 类分类中实现了最优的准确性,证明了深度学习在医疗保健行业,特别是在可穿戴医疗设备中的潜 - 二进制神经网络中的数据流优化
通过引入剪裁块,减少二元神经网络层的数据宽度和内部累加器大小,同时优化批标准化层的实现和 ARM 指令集的二值化卷积,提高了推理速度和准确度。
- 为 Shap Score 计算打开神经网络分类器
本文研究了如何高效地计算机器学习模型中的 Shap 解释得分,通过将二元神经网络转换为确定性和可分解的布尔电路,并利用知识编译技术,将所得到的电路作为开放框模型来计算 Shap 分数,与将 BNN 作为黑盒模型直接计算 Shap 相比,在性 - ICLR了解在二值网络训练中的权重幅度超参数
本文提出了一种基于高阶梯度过滤的新解释,用于解释二进制神经网络中的大小基于超参数的影响,并为其优化设计新的过滤器。通过这种改进的理解,我们可以减少超参数的数量和调整的努力,从而提高二进制神经网络的准确性。