May, 2023

利用梯度衍生的度量对不同 ially private 训练中的数据选择和估值进行优化

PDF
TL;DR研究了如何在严格保护隐私的情况下，利用梯度信息来选择有利于模型训练的数据，解决在协同训练深度学习模型中，难以区分出有用数据点的问题。
collaborative trainingmachine learningprivacy enhancing technologiesdifferential privacydata selection
发现论文，激发创造
  • 差分隐私深度生成模型的统一视角

    利用不同隐私保护方法在深度神经网络上进行私密训练，以实现维度较高的数据生成，并提出统一的方法以提供系统性的派生方法，满足不同用例的需求，探讨不同方法之间的优势、限制和内在相关性以启发未来研究，并提出前进的潜在途径以推动隐私保护学习领域的发展。

    Sep, 2023

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 利用大型语言模型生成私有合成文本

    本文研究了使用敏感数据集生成新的差分隐私数据集作为替代方法，通过使用预先训练好的生成式语言模型并在敏感数据上进行私有调优，然后利用该模型可以产生差分隐私合成数据集，同时展示了训练目标及少调参数可提高合成数据的质量并与直接使用差分隐私训练下游分类器性能竞争力几乎相同，还可用于调整同一模型等级的分类器。

    Jun, 2023

  • 私有协同机器学习中的激励机制

    通过差分隐私作为奖励，我们通过引入协作机器学习训练模型，对多个参与方的数据进行价值评估和奖励，并保护隐私风险。实证结果表明，我们的方法在合成和真实数据集上具有有效性和实用性。

    Apr, 2024

  • 训练知道自己不知道什么的私有模型

    通过研究选择性分类器在差分隐私约束下的效果，探讨深度学习模型的可靠性及隐私泄漏问题，发现最近的一种基于现成的深度学习模型生成检查点的方法在差分隐私下更为合适，使用差分隐私不仅会降低模型的效能，而且在隐私预算降低时需要付出相当大的覆盖成本。

    May, 2023

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 关于利用差分隐私和经典正则化技术进行优化的效用与保护

    该文探讨了在深度学习模型中如何保护训练数据的隐私，比较了不同优化方法对模型性能、训练效果和隐私攻击的影响，并确定了 dropout 和 l2 正则化作为较优秀的隐私保护方法。

    Sep, 2022

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 在卫生保健领域进行差分隐私预测：追踪您的长尾

    本研究研究了隐私保护机制对健康医疗领域数据挖掘和机器学习的影响和局限性，旨在通过使用最新的差分隐私数据挖掘算法来训练隐私保护的模型，并对这些模型进行全面的实证研究。该研究还探讨了隐私保护学习在医疗保健中的好处和成本。

    Oct, 2020