Jun, 2023

FedMLSecurity: 联邦学习和 LLM 攻防优化基准

PDF
TL;DR本篇论文介绍了一个名为 FedMLSecurity 的基准测试，它模拟了联邦学习中的对抗性攻击和相应的防御机制，并证明了其可用于许多机器学习模型和优化器，可以轻松应用于大型语言模型中。
fedmlsecurityadversarial attacksfederated learningfl trainingdefensive strategies
发现论文，激发创造
  • FedML：联邦机器学习研究库与基准

    介绍了一个开放的研究库和基准，名为 FedML，旨在促进联邦学习算法的开发和公平性能比较，支持三种计算范例，并带有灵活和通用的 API 设计和全面的参考实现。

    Jul, 2020

  • 联邦学习中的后门攻击防御技术 - FedDefender

    FedDefender 是针对联邦学习中针对性攻击的一种防御机制，通过差分测试来识别恶意客户端并减少攻击成功率 10％，同时不影响全局模型性能。

    Jul, 2023

  • 基于联邦学习的基础模型集成在对抗威胁下的漏洞

    在现有的联邦学习（FL）框架存在数据不足和不平衡的情况下，基础模型（FMs）的出现为解决 FL 框架的局限性提供了潜在的解决方案，然而，由于 FMs 的固有安全问题，将 FMs 集成到 FL 中可能引入新的风险，为了解决这一问题，我们首次研究了整合 FM 的 FL（FM-FL）在对抗性威胁下的易损性，通过对图像和文本领域中着名模型和基准数据集的广泛实验，我们揭示了 FM-FL 对这种新威胁在各种 FL 配置下的高易感性，此外，我们发现现有的 FL 防御策略在防御这种新攻击方法方面提供了有限的保护，这项研究突出了在 FMs 时代的 FL 中增强安全措施的重要性。

    Jan, 2024

  • 大型语言模型联邦指导调优中涌现的安全攻击与防御

    我们首次揭示了 FedIT 中安全对齐的漏洞，提出了一种简单、隐蔽但有效的安全攻击方法，并进一步提出了一种事后防御方法。实验证明，我们的安全攻击方法可以显著破坏 LLM 的安全对齐，而现有的防御方法无法有效防御，而我们的安全防御方法可以显著增强被攻击的 LLM 的安全对齐。

    Jun, 2024

  • 联邦学习攻击再探讨：对间隙、假设和评估方案的关键讨论

    通过对攻击 FL 的 48 篇相关文章进行系统性的映射研究，我们提供了对所提出的攻击及其评估设置的定量分析。在此基础上，我们揭示了几个关于目标 ML 模型类型、架构和数据分布的研究空白，并提出了一些推荐以避免评估中存在的偏差并促进充分的评估。

    Nov, 2021

  • 联邦学习攻击和防御：综述

    本文系统总结了目前联邦学习系统中存在的各种攻击和针对性防御，包括学习和预测阶段中对不同角色的攻击，并分析了各种隐私和安全层面的防御机制，旨在为建立更加安全、稳定的联邦学习系统提供参考。

    Nov, 2022

  • 联邦学习的安全与隐私问题

    分布式学习中的联邦学习存在安全和隐私挑战，本研究针对各类机器学习模型，包括大型语言模型，提出了安全和隐私挑战的综合分类，重点关注聚合器和参与者的攻击，包括投毒攻击、后门攻击、成员推断攻击、生成对抗网络攻击和差分隐私攻击，同时提出了未来研究的新方向，旨在强化联邦学习系统以应对新兴安全风险并保护分布式学习环境中的敏感数据隐私。

    Jul, 2023

  • 联邦学习中的漏洞调查：一种学习算法的视角

    该综述论文对恶意攻击的联邦学习进行了全面的研究，从攻击来源和目标的新视角进行分类，并深入剖析了其方法和影响。文章对以数据攻击模型、模型攻击数据、模型与模型攻击以及复合攻击为类型的威胁模型进行了讨论，并提出了各种防御策略及其效果、假设和潜在改进方向。作者研究表明，在联邦学习系统的不同阶段，可操纵的学习数据、学习梯度和学习模型的恶意攻击日益增多，其影响范围涵盖了破坏模型性能、重构本地私有数据和注入后门等。此文献综述全面了解当前联邦学习威胁形势，并强调了开发稳健、高效和保护隐私的防御措施对于确保联邦学习在实际应用中的安全与可信采纳的重要性。

    Nov, 2023

  • 联邦学习中模型的深度泄漏

    本文提出了两个新的框架，证明在联合学习的情况下传输模型权重也可能会泄露客户端的本地数据，同时介绍了两种对抗措施和评估其保护效果。

    Jun, 2022

  • 联邦学习中的隐私与鲁棒性：攻击与防御

    在这篇综述性论文中，作者重点介绍基于联邦学习的系统在应对恶意攻击、保障隐私方面所面临的问题，特别关注如何提高系统鲁棒性和隐私保护措施。

    Dec, 2020