Jun, 2024

基于元学习的噪声感知差分隐私回归

PDF
TL;DR通过使用模拟数据来训练元学习模型，将 Convolutional Conditional Neural Process (ConvCNP) 与改进的 DP 机制相结合，从而提供准确、良好校准的预测模型，并在非高斯数据上优于 DP 高斯过程（GP）基线模型。
machine learningdifferential privacyconvolutional conditional neural processdpconvcnpgaussian process
发现论文，激发创造
  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • DPAdapter：通过噪声容忍预训练改进差分隐私深度学习

    DPAdapter 是一种创新技术，通过增强参数的稳健性，提高了差分隐私机器学习算法的模型性能。实验证明，使用 DPAdapter 结合现有的 DPML 算法可以显著提高其平均准确率，从 72.92% 提升至 77.09%，并保持一个隐私预算 ε=4。

    Mar, 2024

  • 在卫生保健领域进行差分隐私预测：追踪您的长尾

    本研究研究了隐私保护机制对健康医疗领域数据挖掘和机器学习的影响和局限性，旨在通过使用最新的差分隐私数据挖掘算法来训练隐私保护的模型，并对这些模型进行全面的实证研究。该研究还探讨了隐私保护学习在医疗保健中的好处和成本。

    Oct, 2020

  • 训练知道自己不知道什么的私有模型

    通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

    May, 2023

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 多粒度拓扑保护的差分隐私解耦图卷积

    该研究提出了面向图形学习设置的新型 Differential Privacy (DP) 方法框架 Graph Differential Privacy (GDP)，并介绍了 Differentially Private Decoupled Graph Convolution (DPDGC) 模型，以实现对网状结构的隐私保护和优良的预测精度，进而在七个节点分类基准数据集上展示了其优异的隐私 - 实用性权衡。

    Jul, 2023

  • 超越平均数：差分隐私原型的私有转移学习

    通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

    Jun, 2024

  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023

  • 利用大型语言模型生成私有合成文本

    本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

    Jun, 2023