Feb, 2024

具有有限公共数据的差分隐私模型的预训练

HTML
PDF
TL;DR通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在ImageNet-21k上实现41.5%的差分隐私准确率（ε=8），以及在下游任务Places365和iNaturalist-2021上分别达到55.7%和60.0%的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。
发现论文，激发创造
  • 公共数据辅助的镜像下降隐私模型训练

    本文提出了一种使用公共数据集来改进差分隐私模型训练隐私/效用权衡问题的新方法，该方法设计了一种自然的DP镜像下降算法，并证明该算法在具有非各向同性的次高斯分布特征向量的线性回归中提供了人口风险保证，同时控制了噪声稳定性，实现了更好的隐私/效用权衡取舍。

    Dec, 2021

  • 巨型数据集ImageNet规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以ImageNet图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用DP来训练一个ResNet-18，精度为47.9％。虽然这比“朴素”的DP训练要好，但是离没有隐私的情况下的75％精度还有很大的差距。

    Jan, 2022

  • 基础模型偏置项差分隐私微调

    提出了一种不修改网络架构、参数高效、计算高效的模型无关机制DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了DP算法的最高精度及标准微调的效率，其速度和内存使用量是DP full fine-tuning的2-30倍和2-8倍，使得现有隐私保护微调方法的计算难点得以攻克。

    Sep, 2022

  • 从随机过程中学习先验知识的差分隐私图像分类

    本研究提出了DP-RandP方法，并从随机过程生成的图像中学习先验知识，并将这些先验知识传递给私有数据，从而提高了差分隐私随机梯度下降DP-SGD的隐私效用权衡的性能，并在CIFAR10，CIFAR100和MedMNIST数据集上实现了新的最佳准确度。

    Jun, 2023

  • 利用公共数据的最优差分隐私学习

    利用公共数据改善差分隐私模型的训练效果的方法。

    Jun, 2023

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降

    DPSUR是基于选择性更新和发布的差分隐私训练框架，通过评估每次迭代的梯度并只使用导致收敛的更新，实现了比DPSGD更快的收敛速度，实验结果表明DPSUR在收敛速度和模型效用方面明显优于之前的研究成果。

    Nov, 2023

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私-效用平衡，从而在DP合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如CelebA-64数据集上的小隐私预算下，仅有0.47M个可训练参数，在先前最先进结果上实现了超过35%的改进）。

    Jun, 2024

  • 超越平均数：差分隐私原型的私有转移学习

    通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

    Jun, 2024

  • DP-Weights：让任何模型拥有差分隐私

    使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

    Jun, 2024