Aug, 2023

验证机器学习训练数据的分布属性

PDF
TL;DR机器学习（ML）的成功伴随着对其可信度的日益关注。为了确保模型训练数据具有某些敏感属性的期望分布特性，一些司法管辖区正在制定 ML 监管框架。我们提出了财产证明的概念，允许证明者（例如，模型训练者）向验证者（例如，客户）证明训练数据的相关分布特性，而不泄露数据。我们提出了一种有效的混合财产证明方法，将属性推断与密码机制相结合。
machine learningml regulatory frameworksmodel training dataproperty attestationcryptographic mechanisms
发现论文，激发创造
  • 形式化分布推断风险

    本文提出了一种形式化且通用的财产推断攻击定义，该定义描述能够区分可能的训练分布的攻击，并展示了如何将先前的财产推断攻击和新的攻击捕获在该定义中，并为揭示潜在风险的实验提供了见解。

    Jun, 2021

  • 面向基于机器学习的分布式系统的认证

    本文分析了目前认证方案存在的挑战和不足，讨论了开放的研究问题，并针对基于机器学习的分布式系统提出了第一个认证方案。

    May, 2023

  • 多方机器学习中数据集属性泄露

    该研究确认了安全多方机器学习会导致数据的属性泄露，包括敏感属性和整个数据集的属性，即使敏感属性未被训练，说明存在相关模型。

    Jun, 2020

  • 形式化与估算分布推断风险

    该研究通过提出一个正式定义的分布推断攻击概念，研究了不同分布和攻击方法之间的表现差异，揭示了通过建立的度量方法可以量化泄漏，并发现了一些攻击的非对称性。

    Sep, 2021

  • 机器学习中的越界泛化

    研究探讨了机器学习中的问题，特别是当模型在不同于训练数据的数据上进行测试时，模型很容易出现失败的现象，主要依靠发现数据的因果结构、找到可靠的特征并进行推广算法等方面展开探讨。

    Mar, 2021

  • 从分类器推断训练数据的类标签分布：一种精度增强的元分类器攻击

    本文提出新型的针对机器学习模型的属性推理攻击，通过阴影训练和元分类器方法，从 ML 分类器模型参数中推断训练数据的类标签分布，相较已有攻击手段改进最高可达 52%。

    Nov, 2022

  • 学习证明：定义与实践

    此研究的目的是实现机器学习中证明训练过程的机制 ——proof-of-learning。作者观察到随机梯度下降算法具有积累秘密信息的性质，并构建了一种自然的证明机制来证明一个实体已经正确地完成了模型参数优化过程，进而保护模型的知识产权。同时，该证明机制也保持了训练过程的可用性，可以在多方争议模型所有权的情况下使用。实验证明，该机制在硬件和软件环境的变化下仍能保持鲁棒性。

    Mar, 2021

  • 隐私保护机器学习的分布式信任框架

    本文介绍了一种分布式基础设施，用于实现分布式代理之间的点对点信任，从而协同执行保护隐私的机器学习工作流程。使用 Hyperledger Aries，Decentralised Identifiers (DIDs) 和 Verifiable Credentials (VCs) 建立了一个分布式信任体系，促进与心理健康护理相关的联邦学习工作流程。

    Jun, 2020

  • 机器学习系统可靠性的整体评估

    该研究提出了一个综合评估机器学习系统可靠性的方法，侧重考虑诸如敌对攻击、性能下降以及算法技术等方面的问题，并对 500 多个模型进行了分析，为未来的研究和发展提供了指导。

    Jul, 2023

  • 验证神经模型训练数据的工具

    为了评估神经模型的能力和风险，我们引入了一种名为 “Proof-of-Training-Data” 的概念，该概念包括了一些协议，使模型训练者能够向验证者证明所产生的一组模型权重的训练数据。我们研究了与大部分当前的大型模型训练程序兼容的 Proof-of-Training-Data 的有效验证策略。

    Jul, 2023