- 基于梯度训练的差分隐私和遗忘的证明
基于凸松弛的框架可以计算形式化的保证(证书),以满足特定预测的 ε=0 隐私保证,或者不依赖于可撤销请求的数据。验证为中心的隐私与撤销保证可用于增加用户信任度,提供针对某些成员推理攻击的鲁棒性的形式化证明,确定可能容易受攻击的记录,并增强当 - ICML超越校准点:差分隐私中的机制比较
在差分隐私机器学习中,我们引入了度量机制之间差分隐私保护强度的 $\Delta$- 散度,并在 $(\varepsilon, \delta)$、$f$-DP 和贝叶斯解释方面加以解释。通过应用实例,我们展示了我们的技术可以促进明智的决策,并 - EncCluster: 通过权重聚类和概率过滤在联邦学习中实现可扩展的功能加密
EncCluster 是一种新方法,通过权重聚类与最近的去中心化 FE 和增强隐私数据编码相结合,提供强大的隐私保证,同时不影响模型性能或增加客户端负担,并通过减少通信成本和加速加密来提高效率。
- 在组合下避免子采样机制的隐私计算陷阱
我们考虑计算子采样差分私有机制组合的紧密隐私保证的问题。我们的主要贡献在于解决了两个常见的困惑:一是有些隐私估计者认为,子采样机制组合的隐私保证是通过自组合未组合机制的最坏情况数据集来确定的;二是泊松子采样有时被假设具有与无替换采样相似的隐 - 针对隐藏状态威胁模型中 DP-SGD 的更严格隐私审计
通过对隐含状态威胁模型进行审计,本研究验证了通过在每个优化步骤中插入所精心设计的梯度,保证仅发布最终模型并不会增加隐私的结论,同时也在非凸设置中观察到隐私放大的现象,为改进现有隐私上界提供强有力的证据。
- DP-SGD 的隐私程度如何?
我们展示了 Adaptive Batch Linear Queries (ABLQ) 机制在不同类型的批量采样(洗牌和泊松子采样)下的隐私保证之间存在重大差距,这提示我们在报告 DP-SGD 的隐私参数时要小心。
- 隐私敏感领域中联合学习的互惠证明
通过实现隐私保障和最终模型准确性之间的平衡,本文研究了何时以及如何设计一种对所有参与者都有利的联邦学习协议,并给出了在均值估计和凸随机优化等背景下存在互惠协议的必要和充分条件。此外,本文还设计了最大化最终模型准确性的协议,并通过合成实验验证 - 差分隐私的随机游走分散式学习
去中心化学习中采用随机游走算法以节点间的通信图为边更新模型,通过 Pairwise Network Differential Privacy 推导出隐私损失,研究结果表明随机游走算法相较于热点算法在节点邻近情况下提供更好的隐私保证。
- 客户协作:具有保证效用 - 隐私权衡改进的灵活差分隐私联邦学习
我们介绍一种新颖的联邦学习框架 FedCEO,通过让客户端相互合作,在模型效用和用户隐私之间取得平衡,实现了严格的隐私保障。我们在服务器上对堆叠的本地模型参数进行高效的张量低秩近似优化,并使用光谱空间灵活截断高频分量,从而有效地恢复被破坏的 - 差分隐私模型导向的离线强化学习
我们提出了具有隐私保证的离线增强学习方法,目标是训练一种与数据集中的个体轨迹具有差异隐私的策略。为了实现这一目标,我们引入了 DP-MORL,一个带有差分隐私保证的 MBRL 算法。首先,使用 DP-FedAvg 从离线数据中学习到环境的私 - AAAI差分隐私与对抗鲁棒机器学习:实证评估
使用敌对训练和差分隐私训练的组合,本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能,并实证显示该方法的隐私性与非鲁棒私有模型相当。此外,该研究还强调了在动态训练范式中探索隐私保证的需求。
- 兰格万去学习:机器去学习的噪音梯度下降的新视角
基于噪声梯度下降的兰格文反训练为近似反训练问题提供隐私保证,将 DP 学习过程与隐私认证的反训练过程统一,具有多种算法优势,包括非凸问题的近似认证的反训练、与重新训练相比的复杂性节约、用于多个反训练请求的顺序和批量反训练。通过在基准数据集上 - Qrlew: 将 SQL 重写为差分隐私 SQL
该研究论文介绍了 Qrlew,一个开源库,它可以将 SQL 查询解析为关系,即保留丰富的数据类型、值范围和行所有权的中间表示;从而可以轻松地将其重写为具有差分隐私等效性的查询,并将其转换为可在各种标准数据存储中执行的 SQL 查询。
- 隐私感知的文档视觉问答
在本研究中,我们首次探索了文档视觉问答(DocVQA)领域的隐私问题,并提出了使用联邦学习和差分隐私的基线训练方案,用于保护敏感信息以及避免模型记忆效应所导致的私人信息泄露。
- QMGeo:基于混合截断几何分布的随机量化差分隐私联邦学习
本文提出了一种新颖的随机量化方法,利用混合几何分布引入所需的随机性,以提供差分隐私,而不引入任何附加噪声,并通过收敛分析和实证研究了该方法的性能。
- 图神经网络的隐私保护设计及其在纵向联邦学习中的应用
本文介绍了一种基于 VFL 框架的端到端 GRL 方法,称为 VESPER,它建立在一种通用的隐私保护方案(PMP)上,允许对许多常见的图神经网络架构进行隐私保护。通过对具体图神经网络架构的设计选择进行讨论,我们提出了针对稠密图和稀疏图的解 - 集中式深度学习中的差分隐私最新进展:系统性概述
差分隐私已成为机器学习中广受欢迎的数据保护方法,尤其是因为它允许提供严格的数学隐私保证。本文综述了差分隐私集中深度学习的现状,对最近的进展和开放问题进行了深入分析,并讨论了该领域未来的可能发展。通过系统的文献综述,涵盖了以下主题:针对隐私模 - 自适应分布式核岭回归:一种适用于数据孤立的可行分布式学习方案
基于自主性参数选择、通信非敏感信息的隐私保证和性能改进的协作性的自适应分布式核岭回归 (AdaDKRR) 是解决数据孤岛问题的可行方案,并能在智能决策、价格预测和产品性能预测等领域发挥作用。
- 个性化联邦学习推进:群体隐私,公平与更多
本文介绍了在联邦学习框架中处理个性化、隐私保证和公平性三者之间的相互关系,通过引入 $d$-privacy 方法,提供个性化模型训练、形式上的隐私保证和显著优于传统联邦学习模型的群体公平性。
- 隐私保护的多囊卵巢综合症治疗的病患数据联邦学习
通过联邦学习,我们研究了妇女内分泌学领域,以预测多囊卵巢综合征 (PCOS) 患者的最佳药物,解决了患者隐私保护的问题。