通过控制硬件的非确定性实现乐观可验证训练
通过提出一种名为 MixTrain 的新技术,本文旨在大大提高以往可检验证训练的效率,并维持高标准的可靠性,实现了在少量训练时间内,其鲁棒性达到 95.2%,相较于现有的可检验证训练方法快 3 倍,而相对于对抗性训练快 15 倍,并且具有较好的扩展性。
Nov, 2018
本文提出了一种新的算法框架,predictor-verifier training,用于训练可验证的神经网络,同时训练两个网络:一个预测网络和一个验证网络以达到最大化输出准确性并满足输入输出特定属性的目标。实验表明,predictor-verifier 架构能够训练出鲁棒性强的神经网络并且训练时间显著减短,在像 MNIST 和 SVHN 这样的小数据集上优于以前的算法,同时能够扩展到 CIFAR-10 并产生首个已知的可验证鲁棒网络。
May, 2018
通过可交互的证明助手,开发者能够证明机器学习系统的正确性,这种方法暴露了所有的实现错误,并通过 Certigrad 实现了优化的随机计算图,并生成了一个机器可验证的证明,证明了系统采样的梯度是数学梯度的无偏估计方法。
Jun, 2017
为了评估神经模型的能力和风险,我们引入了一种名为 “Proof-of-Training-Data” 的概念,该概念包括了一些协议,使模型训练者能够向验证者证明所产生的一组模型权重的训练数据。我们研究了与大部分当前的大型模型训练程序兼容的 Proof-of-Training-Data 的有效验证策略。
Jul, 2023
提出了一个基于对抗训练和可证明的强健性验证相结合的原则性框架,用于训练可证明强健的神经网络,并开发了一个新的梯度下降技术,可以消除随机多梯度中的偏差。 通过理论分析该技术的收敛性和与现有技术的实验比较,对 MNIST 和 CIFAR-10 的结果表明,所提出的方法可以始终匹配或优于过去的方法,特别是在 MNIST 的 epsilon = 0.3 时,达到了 6.60%的验证测试错误率,在 CIFAR-10 上达到了 66.57%(epsilon = 8/255)。
Aug, 2020
提出了一种生成可验证的神经网络(VNNs)的新框架,该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡,使得生成的网络在预测性能方面与原始网络相当,并且可以进行验证,以更加高效地建立 VNNs 的强大性。
Dec, 2023
通过在网络中加入全局 Lipschitz 边界,文中提出的方法可以快速训练大型强健的神经网络,实现了可证明的最先进的可验证准确性。同时,该方法比最近的可证方法需要的时间和内存少得多,并在在线认证时产生可忽略的成本。
Feb, 2021