Sep, 2022

基础模型偏置项差分隐私微调

PDF
TL;DR提出了一种不修改网络架构、参数高效、计算高效的模型无关机制 DP-BiTFiT，实现了对长序列和高分辨率图片的隐私保护微调，达到了 DP 算法的最高精度及标准微调的效率，其速度和内存使用量是 DP full fine-tuning 的 2-30 倍和 2-8 倍，使得现有隐私保护微调方法的计算难点得以攻克。
differentially privatefine-tuninglarge pre-trained modelsdp-bitfitmodel agnostic
发现论文，激发创造
  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • DP-RAFT: 加速微调的差分隐私配方

    本文介绍了一种不同 ially private fine-tuning 的方法，通过关键超参数的选择来加快训练，从而在计算机视觉和自然语言处理的基准任务中获得了新的最好表现，具有巨大的实际应用前景。

    Dec, 2022

  • 双重微调：面向大语言模型的选择性差分隐私

    本研究提出了一种称为 Just Fine-tune Twice（JFT）的新框架，用于保护最先进的大型 Transformer 模型的选择性差分隐私，并研究了系统性的方法来处理敏感标记的缺失，实现了良好的实用性和隐私保证。

    Apr, 2022

  • 关于差分隐私微调的收敛性：线性探测还是全面微调？

    通过理论研究和实证评估，本文分析了差分隐私 fine-tuning 方法的训练动态，并探讨了顺序 fine-tuning 的现象及其对测试损失的影响，为过参数化神经网络中的差分隐私调优提供了理论洞见和隐私预算分配规则。

    Feb, 2024

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私预算下，仅有 0.47M 个可训练参数，在先前最先进结果上实现了超过 35% 的改进）。

    Jun, 2024

  • 在低成本下对大型模型进行差分隐私优化

    本文提出了一种新的 Book-Keeping（BK）技术，用于实现现有的 DP 优化器，以降低计算成本，并在视觉和语言任务方面进行广泛实验，取得了 SOTA 精度。

    Sep, 2022

  • 从差分隐私中减弱语言模型微调的偏见

    机器学习中公平性和隐私性是两个重要的价值观，通过差分隐私机制来限制个体训练数据对结果模型的影响，但我们发现差分隐私会加剧性别、种族和宗教偏见，而反事实数据增强法可以缓解差分隐私所引发的偏见扩大，因此差分隐私和反事实数据增强法可以同时维护公平性和隐私。

    Feb, 2024

  • 差分隐私语言模型受益于公共预训练

    通过微调基于公共语料库的模型来实现高质量和隐私保护的语言模型，提高私有领域的模型性能，让其成为可能。

    Sep, 2020

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024