Jul, 2023

验证神经模型训练数据的工具

PDF
TL;DR为了评估神经模型的能力和风险，我们引入了一种名为 “Proof-of-Training-Data” 的概念，该概念包括了一些协议，使模型训练者能够向验证者证明所产生的一组模型权重的训练数据。我们研究了与大部分当前的大型模型训练程序兼容的 Proof-of-Training-Data 的有效验证策略。
neural modelsproof-of-training-datamodel verificationdata sourcestraining procedures
发现论文，激发创造
  • 学习证明：定义与实践

    此研究的目的是实现机器学习中证明训练过程的机制 ——proof-of-learning。作者观察到随机梯度下降算法具有积累秘密信息的性质，并构建了一种自然的证明机制来证明一个实体已经正确地完成了模型参数优化过程，进而保护模型的知识产权。同时，该证明机制也保持了训练过程的可用性，可以在多方争议模型所有权的情况下使用。实验证明，该机制在硬件和软件环境的变化下仍能保持鲁棒性。

    Mar, 2021

  • 神经网络中毒性验证

    本文研究了数据毒化这一神经网络安全问题，使用现有验证工具如 Marabou 和 nneum，将问题表达为可验证的属性，并证明了所发现触发器可以从小模型转移到更大的性能先进的图像分类模型上。

    May, 2022

  • 使用学习的验证器训练已验证的学习者

    本文提出了一种新的算法框架，predictor-verifier training，用于训练可验证的神经网络，同时训练两个网络：一个预测网络和一个验证网络以达到最大化输出准确性并满足输入输出特定属性的目标。实验表明，predictor-verifier 架构能够训练出鲁棒性强的神经网络并且训练时间显著减短，在像 MNIST 和 SVHN 这样的小数据集上优于以前的算法，同时能够扩展到 CIFAR-10 并产生首个已知的可验证鲁棒网络。

    May, 2018

  • 关于正式（非）证明学习证明中鲁棒性的根本限制

    本文对 Proof-of-learning（一种基于机器学习的训练检查点建立验证机制）进行了形式化分析，发现其存在容易被攻击者欺骗的漏洞，并提出在保护 Proof-of-learning 的真实性方面需要更多地借助密码学的方法。

    Aug, 2022

  • 通过控制硬件的非确定性实现乐观可验证训练

    提出一种可验证训练的方法，通过在更高精度的模型上进行训练，舍入中间计算步骤后存储舍入决策，并基于自适应阈值过程，成功控制不确定性，从而实现了对训练过程的准确复制，降低了存储和时间成本。

    Mar, 2024

  • 深度概率模型的验证

    该文章提出了一种验证深度概率模型的新框架，在模型输出过程中采样潜在变量并考虑其所需的条件输入，以高概率满足线性约束，并能够有效地验证功能空间中感兴趣的属性（单调性、凸性）

    Dec, 2018

  • 神经网络验证的端到端基于集合的训练

    神经网络在对抗攻击中容易受到干扰，训练和验证稳健的神经网络是有挑战的，而本论文通过采用端到端的基于集合的训练方法来解决这个问题，该方法使得训练和验证神经网络的稳健性更加简单有效。此外，通过使用集合训练的方法，可以在很多情况下比使用最先进的对抗攻击训练的神经网络表现更好。

    Jan, 2024

  • 验证友好的深度神经网络

    提出了一种生成可验证的神经网络（VNNs）的新框架，该框架通过后训练优化在保留预测性能和鲁棒性之间取得平衡，使得生成的网络在预测性能方面与原始网络相当，并且可以进行验证，以更加高效地建立 VNNs 的强大性。

    Dec, 2023

  • 验证机器学习训练数据的分布属性

    机器学习（ML）的成功伴随着对其可信度的日益关注。为了确保模型训练数据具有某些敏感属性的期望分布特性，一些司法管辖区正在制定 ML 监管框架。我们提出了财产证明的概念，允许证明者（例如，模型训练者）向验证者（例如，客户）证明训练数据的相关分布特性，而不泄露数据。我们提出了一种有效的混合财产证明方法，将属性推断与密码机制相结合。

    Aug, 2023

  • 基于后门水印技术的数据集保护中的黑匣子所有权验证

    本文基于深度学习和神经网络的高效和有效性，提出了一种基于后门水印的数据集保护模式，其中数据集水印包括数据集水印和数据集验证，实验证明了该方法的有效性。

    Aug, 2022