Aug, 2020

纵向分区数据的联邦双随机核学习

PDF
TL;DR本论文提出了一种名为 FDSKL 的算法，该算法使用随机特征来近似内核映射函数并使用双随机梯度更新解决方案，旨在高效地学习垂直分割的数据而保持数据安全和隐私。实验结果表明，该算法在处理内核时比现有的联合学习方法更快，并保留了类似的泛化性能。
vertically partitioned datadoubly stochastic kernel learningdata privacyrandom featuresfederated learning
发现论文，激发创造
  • 个性化在线联邦学习的多核方法

    基于多核学习的在线非线性函数逼近，通过联邦学习在分布在不同客户端之间的数据上训练多核模型；提出一种算法框架，允许客户端以可负担的通信成本与服务器进行通信，并利用随机特征近似提出可扩展的在线联邦多核学习算法。实验证明，与其他在线联邦核学习算法相比，该算法具有显著优势。

    Nov, 2023

  • 探索无代理数据联邦蒸馏中分布式知识一致性

    本文提出了一种基于分布式知识一致性的无代理数据 Federated Distillation 算法以减轻客户端模型异质性带来的知识不一致问题，并设计了优化策略以保证本地模型参数能够满足近似相似分布并被视为一致。实验表明该算法在多种异构设置下均明显优于现有方法并大幅提高了收敛速度。

    Apr, 2022

  • FedSiKD: 应对非 i.i.d 和约束的联邦学习中的客户相似性和知识蒸馏

    FedSiKD 是一种相似性基于联邦学习框架，利用知识蒸馏技术解决非独立同分布数据和设备约束等问题，提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对 HAR 和 MNIST 数据集，FedSiKD 相较于现有算法具有更高的准确性，并在前五轮迭代中分别提升了 17% 和 20% 的准确率，展现了其早期学习的能力。代码已公开并托管在 GitHub 上。

    Feb, 2024

  • 本地差分隐私下带 Top-k 维度选取的联邦随机梯度下降

    本文提出了一种名为 FedSel 的两阶段框架，用于解决联邦学习中梯度隐私问题。该框架利用 Top-k 维度的贡献来选择维度，以减轻噪声注入的问题，同时在真实和合成数据集上进行的实验也证明了该框架在隐私保护、准确性和时间复杂度方面的有效性和效率优于现有的解决方案。

    Mar, 2020

  • 基于拟牛顿方法的垂直联邦学习框架用于逻辑回归

    研究垂直联邦学习结构用于逻辑回归，建立在同态加密方案之上的拟牛顿方法可解决交流困境，能够显著降低交流轮数，并且在每轮中，附加的沟通成本较少。

    Dec, 2019

  • 联邦贝叶斯学习的客户端选择

    本文提出了两种分布式 Stein 变分梯度下降（DSVGD）选择方案，基于核化 Stein 差异度和希尔伯特内积，以提高模型收敛速度和通信效率。通过在各种学习任务和数据集上进行评估和比较，证明了这些方案在模型准确性、收敛速度和稳定性方面的优点。

    Dec, 2022

  • 基于隐私保护的联邦学习核方法

    用于水平分布数据的联邦学习方法 FLAKE，可以保护机密性并高效地计算 Gram 矩阵，从而实现隐私保护的核方法，适用于机器学习和数据挖掘等领域。

    Jun, 2023

  • 多方纵向协作学习隐私保护异步联邦学习算法

    本文提出了针对垂直分割数据的异步联邦学习算法 AFSGD-VP 及其 SVRG 和 SAGA 变体，并在强凸条件下提供了收敛性分析。实验结果验证了本算法的理论结果，并表明我们的算法比相应的同步算法效率高得多，并且具有模型隐私保护。

    Aug, 2020

  • KDk：垂直联邦学习中的标签推断攻击防御机制

    通过应用我们的方法，我们提出了一种名为 KDk 的新颖框架，结合了知识蒸馏和 k - 匿名性，以在竖直分割数据的联邦学习（VFL）场景中提供对潜在标签推断攻击的防御机制，通过详尽的实验结果表明，我们的方法能够显著降低分析的标签推断攻击的性能，甚至能将其准确度减少 60％以上，同时几乎不改变整个 VFL 的准确度。

    Apr, 2024

  • 神经切向核强化联邦学习

    该论文提出了一种基于神经切向核的新型联邦学习范式，通过传输比传统联邦学习范式更具表现力的样本级 Jacobian 矩阵，解决了统计异质性的挑战，并进一步开发了一种改进的变体，其在保持相同准确性的情况下，将通信轮数减少了一个数量级。

    Oct, 2021