走向公平表达的毒性注入
我们引入了一种针对算法公平性的优化框架,并开发了一种基于梯度的毒化攻击方法,旨在在数据的不同群体之间引入分类偏差,我们实验性地表明,我们的攻击不仅在白盒环境中有效,特别是在黑盒情况下,也对目标模型有很大影响,我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路,并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。
Apr, 2020
数据污染攻击对于计算机网络领域的严重性进行了实证研究,发现 Label Flipping 攻击易于检测,而 Feature Poisoning 攻击难以被察觉,证明了后者在欺骗服务器方面的重要性。
Mar, 2024
本文旨在研究联邦机器学习中的数据投毒攻击漏洞,使用一个基于多任务学习框架的联邦学习框架,提出了一个自适应的双层优化问题,并提出了一种系统感知的优化方法,ATTack on Federated Learning (AT2FL),用于计算联邦机器学习中的设备投毒策略。实验结果表明,无论是直接毒害目标节点还是利用通信协议间接毒害相关节点,联邦多任务学习模型都非常容易受到投毒攻击的影响。
Apr, 2020
提出了一种名为 FR-Train 的实现公平和鲁棒的模型训练技术,其中的一种新的方法是添加一个附加鉴别器来识别受污染的数据并减少其影响,通过缓解数据偏见和抵御数据污染,实验结果显示 FR-Train 在公平性和准确性方面几乎没有下降,并演示了如何使用众包构建干净的验证集和释放新的基准数据集。
Feb, 2020
本文对过去 15 年来关于机器学习中中毒攻击和防御的 100 多篇论文进行了全面的系统化概括和批判性点评,主要关注于视觉应用程序,并讨论了当前的限制和开放性的研究问题。
May, 2022
本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞,并介绍了几种可行的检测和缓解机制,比较了不同方法的性能以及固有属性,如可靠性、隐私和可解释性。同时,提供了未来研究方向的参考。
Feb, 2022
本文介绍了一个最小二乘对抗框架,其中一个发生器生成学习个体的潜在表示,一个评论家保证了不同保护组的分布相似,从而在保留足够信息的同时解决了受保护属性引起的潜在偏差问题,为公平分类提供了理论保证。经验结果表明,这种方法可以有效地用于分类任务,特别是在删除受保护属性不足以实现公平分类的情况下。
Apr, 2019