AIJack:机器学习的安全与隐私风险模拟器
云生态系统中的隐私和安全论文指出,解决机器学习模型引入的风险存在差距,通过调查 AIaaS 领域,提出了一种分类法来全面检查 ML 模型的创作者和消费者所面临的风险及其已知防御措施,为提供方和消费方提供了基础解决方案。
Jan, 2024
人工智能的发展显著改变了人们的生活,但也对隐私和安全构成了重大威胁。因此,通过机器学习算法实现个人信息的智能保护已成为一项重要关注点。本文着重于个人数据隐私保护和匿名化的核心研究目标,通过使用机器学习的差分隐私保护算法,实现个人数据隐私保护和检测,并解决与隐私和个人数据保护相关的现有挑战,提出改进建议,分析影响数据集的因素以实现及时的个人数据隐私检测和保护。
Feb, 2024
该研究讨论了机器学习算法的威胁模型,提出了三个解决方案:验证和准入控制、可靠的攻击记录机制和安全与隐私的形式化框架,通过这些方案来设计出较好的机器学习系统。
Nov, 2018
本文研究了机器学习模型的隐私风险和成员推理攻击,提出了一种基于预测熵修改的推理攻击和一个新的隐私风险得分指标,同时对已有的防御机制进行了基准攻击,实验结果表明个体样本的隐私风险得分分布差异很大,同时确定源风险的主要因素与模型敏感性、综合误差和特征嵌入有关系。
Mar, 2020
人工智能系统在日常生活中普遍存在,在零售、制造、健康等许多领域都有应用。随着人工智能采用的增加,相关风险也被识别出来,其中包括对用于训练模型的数据的隐私风险。评估机器学习模型的隐私风险对于做出有知识决策,是否使用、部署或共享模型至关重要。对隐私风险评估的常见方法是运行一个或多个已知的攻击来评估攻击的成功率。我们提出了一个新颖的框架来运行针对分类模型的成员推理攻击。我们的框架利用集合方法,针对数据的不同子集生成许多专门的攻击模型。我们证明这种方法在经典和语言分类任务中比单个攻击模型或每个类标签的攻击模型都具有更高的准确性。
Oct, 2023
本文对机器学习与隐私问题进行了综述,涵盖了三种交互方式:(i) 私有机器学习,(ii) 机器学习辅助隐私保护,以及 (iii) 基于机器学习的隐私攻击和相应的保护方案,总结了各个领域内的研究进展和关键挑战,并提出了未来的研究方向。
Nov, 2020
本文介绍了 AI 安全与对抗攻击的概念,探讨了机器学习产品的威胁和 AI 产品开发中常见的陷阱,适用于 AI 软件产品的开发人员、设计师、管理者和研究人员。
Apr, 2023