关于正式（非）证明学习证明中鲁棒性的根本限制

Aug, 2022

关于正式（非）证明学习证明中鲁棒性的根本限制

On the Fundamental Limits of Formally (Dis)Proving Robustness in Proof-of-Learning

Congyu Fang, Hengrui Jia, Anvith Thudi, Mohammad Yaghini, Christopher A. Choquette-Choo...

TL;DR本文对 Proof-of-learning（一种基于机器学习的训练检查点建立验证机制）进行了形式化分析，发现其存在容易被攻击者欺骗的漏洞，并提出在保护 Proof-of-learning 的真实性方面需要更多地借助密码学的方法。

Abstract

proof-of-learning (PoL) proposes a model owner use machine learning training checkpoints to establish a proof of having expended the necessary compute for training. The authors of PoL forego cryptographic approac

proof-of-learning machine learning stochastic gradient descent robustness cryptography

发现论文，激发创造

学习证明：定义与实践

此研究的目的是实现机器学习中证明训练过程的机制 ——proof-of-learning。作者观察到随机梯度下降算法具有积累秘密信息的性质，并构建了一种自然的证明机制来证明一个实体已经正确地完成了模型参数优化过程，进而保护模型的知识产权。同时，该证明机制也保持了训练过程的可用性，可以在多方争议模型所有权的情况下使用。实验证明，该机制在硬件和软件环境的变化下仍能保持鲁棒性。

Mar, 2021

带有奖励安全性的学习验证

利用实用的工作证明（PoUW）机制的提案，解决了传统 PoW 和 PoS 机制所面临的能源消耗、安全性和经济性问题，在区块链系统中整合机器学习训练以实现环境友好的解决方案，并提出了一种全新的人工智能时代下的完全去中心化计算能力市场。

Apr, 2024

使用形式化数学开发无缺陷的机器学习系统

通过可交互的证明助手，开发者能够证明机器学习系统的正确性，这种方法暴露了所有的实现错误，并通过 Certigrad 实现了优化的随机计算图，并生成了一个机器可验证的证明，证明了系统采样的梯度是数学梯度的无偏估计方法。

Jun, 2017

关于鲁棒性对抗样本和多项式优化的研究

通过优化多项式优化问题的技术，我们设计了具有计算效率和可证明保证的鲁棒性算法，能够抵御测试时的对抗性干扰，特别地，针对线性分类器和二次多项式阈值函数（PTF）分类器，我们给出了其计算鲁棒性的代价的精确刻画，同时，我们还证明了用环境所提供的函数信息可以在有效时间内帮助生成对抗攻击样本，并证明这些攻击样本在实际数据上是有效的。

Nov, 2019

PROVEN：一种基于概率方法验证神经网络的稳健性

该研究提出了一种概率证明框架 PROVEN，用于验证神经网络在输入加噪时的鲁棒性，可证明分类器的 top-1 预测在受限的 Lp 范数扰动下不会发生改变，证书是基于现有的神经网络鲁棒性验证框架，该方法在 MNIST 和 CIFAR 神经网络模型的实验中取得了 75% 的提升。

Dec, 2018

深度学习的证明：方法、挑战和未来方向

利用计算能力进行区块链的安全性和完整性维护的一种机制是深度学习证明 (PoDL)，本文调查了 PoDL 的各种方法、算法类型、优缺点及其潜在应用，并讨论了实施 PoDL 的挑战和未来研究方向。

Aug, 2023

验证神经模型训练数据的工具

为了评估神经模型的能力和风险，我们引入了一种名为 “Proof-of-Training-Data” 的概念，该概念包括了一些协议，使模型训练者能够向验证者证明所产生的一组模型权重的训练数据。我们研究了与大部分当前的大型模型训练程序兼容的 Proof-of-Training-Data 的有效验证策略。

Jul, 2023

通过有原则的对抗训练证明一些分布鲁棒性

利用分布鲁棒优化的方式解决神经网络在对抗攻击下的鲁棒性问题，通过在 Wasserstein ball 内惩罚扰动数据分布的方式，通过我们提出的训练过程，能够实现对训练数据的最坏情况扰动而获得中等水平的健壮性，同时具有较小的计算和统计成本，并且我们的统计保证使我们能够有效地验证整体损失的健壮性，对于感知扰动，我们的方法与启发式方法相匹配或更好。

Oct, 2017

从几何视角看概率鲁棒学习的边界问题

本文提出了对于概率鲁棒学习方法的新的几何观点，针对其原始公式存在的细微缺陷，引入了一族概率非局部周长函数，通过新颖的松弛方法证明了解的存在性，并研究了所引入的周长的性质与局部极限。

May, 2023

利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

Jun, 2020