May, 2023

可逆深度神经网络数字水印技术：匹配浮点数权重

PDF
TL;DR本文提出了一种基于可逆数据隐藏的静态深度神经网络水印方法，通过对量化索引调制进行改进，将缩放的量化误差添加回覆盖对象以实现 DNN 的完整性保护和合法鉴定。
deep neural networkwatermarkingreversible data hidingquantization index modulationintegrity protection
发现论文，激发创造
  • 使用随机量化和信息理论集成训练提高量化深度神经网络对白盒攻击的鲁棒性

    通过引入可微分的随机量化器，通过多个不同的量化神经网络学习输入图像的不同表示，提高量化过的深度神经网络对白盒对抗攻击的鲁棒性。在不同威胁模型上进行统一分析，通过相关性将互信息和准确率结合，检测攻击并生成鲁棒性图谱。

    Nov, 2023

  • 使用 8 位整数训练高性能和大规模深度神经网络

    本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

    Sep, 2019

  • 深度神经网络的噪声响应分析评估其稳健性和结构恶意软件指纹

    本文提出了一种快速特征生成技术，可以对深度神经网络进行快速的安全检测，尤其是可以在几秒钟内检测出所谓的后门 (backdoors)，并且无需大量计算资源和训练数据。

    Jul, 2020

  • 使用深度学习的并行速率失真优化量化

    通过基于神经网络的方法来实现速率 - 失真优化量化 (RDOQ), 用于视频压缩标准 HEVC 中的后量化步骤中，使其在实时硬件编码器中的执行开销降低。该方法在 HM 16.20 中的实现，比起标量量化方法能够获得更好的性能表现，同时在光度方面实现了 1.64% BD-rate 的节省，是一个可行的代替 RDOQ 算法的解决方案。

    Dec, 2020

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • 使用随机量化学习准确的低比特深度神经网络

    本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

    Aug, 2017

  • 使用循环神经网络优化动力解耦量子存储

    利用基于循环神经网络的机器学习模型来优化动力解耦（DD）序列，通过对比实验结果表明该方法能够提高量子存储器的性能和噪声抑制，且易于在实验中执行。

    Apr, 2016

  • 利用深度量化神经网络提高对抗攻击的鲁棒性

    该研究旨在解决如何创建可部署在资源受限的嵌入式设备上的精确、稳健、小型的深度神经网络模型的挑战，并报告了使用自动量化感知训练框架 QKeras 训练的鲁棒性小型 DNN 模型的结果，该模型稳健性能显著优于现有基准测试。

    Apr, 2023

  • 通过固定和动态量化激活函数来防御深度神经网络对抗性示例

    本研究发现神经网络量化和抵御对抗攻击这两条不同的路线可以合并，提出了动态量化激活方法以训练鲁棒神经网络，并在 MNIST 和 CIFAR-10 数据集上的广泛实验证明了该方法能够有效提高深度神经网络的鲁棒性。

    Jul, 2018

  • 通过支撑和质量均衡设计三元神经网络量化的强基准线

    本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。

    Jun, 2023