Dec, 2023

机器学习防御与风险之间的意外相互作用

PDF
TL;DR机器学习模型在安全、隐私和公平性方面不能忽视风险。已有的防御方法虽然可以缓解某些风险，但也可能增加其他风险的易受性。现有研究缺乏一个有效的框架来识别和解释这些意外交互。我们提出了一个这样的框架，基于过度拟合和记忆化的猜想来解释这些意外交互。我们调查了关于意外交互的现有文献，并将其纳入我们的框架。我们使用我们的框架对两种以前未被探索的交互进行了猜想，并通过实验证实了我们的猜想。
machine learningriskssecurityprivacyfairness
发现论文，激发创造
  • 机器学习模型保护机制之间的冲突交互

    本文提出对机器学习保护机制中的冲突交互进行分析的框架，并研究了数据和模型权属验证与差分隐私训练、对抗性模型欺骗鲁棒性等保护机制间的两两交互。研究发现了许多保护机制的交互冲突，并探索了避免这些冲突的潜在方法和方法的局限性。

    Jul, 2022

  • 机器学习中安全与隐私科学的探索

    ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

    Nov, 2016

  • SoK: 支配三角形 -- 机器学习中公平性、解释性和隐私之间的相互影响

    机器学习在高风险决策中的应用日益增多，如大学招生、贷款归因或再犯预测。因此，确保学习到的模型可以由人类用户审计或理解，不会产生或重现歧视或偏见，并且不会泄露关于其训练数据的敏感信息，变得至关重要。实际上，可解释性、公平性和隐私性是负责任的机器学习发展的关键要求，而过去十年来一直对它们进行了广泛研究。然而，它们主要被独立考虑，而在实践中，它们之间存在着相互作用，无论是积极的还是消极的。在这篇《知识系统化》论文中，我们对这三个期望之间的相互作用进行综述，并总结了每个成对相互作用的共性和紧张关系。这些发现突出了几个基本的理论和经验冲突，同时也表明，要在保持高水平效用的同时综合考虑这些不同要求是具有挑战性的。为了解决这个问题，我们还讨论了可能的调和机制，表明一个仔细的设计可以成功地处理这些不同的关注点。

    Dec, 2023

  • SoK：智能网络入侵检测的逼真对抗攻击与防御

    利用机器学习（ML）自动化异常检测和网络入侵检测（NID）中的网络攻击分类，提高检测性能。然而，虽然 ML 模型的好处很多，但它们容易受到经过特殊设计的对抗性网络攻击的影响。本文综述了目前最新的对抗学习方法，能够生成实际中可用于机器学习开发和部署的网络拓扑，并描述了 NID 领域中对对抗 ML 使用的挑战。

    Aug, 2023

  • 机器遗忘中的威胁、攻击与防御：一项综述

    机器去学习的关键概念、影响因素和机制的综述，提供对威胁和防御的分类、方法和解决方案的建议，以促进未来研究和实际应用的发展。

    Mar, 2024

  • 对抗机器学习中的防御措施综述

    机器学习系统中的对抗现象给实际应用带来了严重安全威胁，本调查旨在从统一的视角对现有的防御机制进行系统回顾，通过将机器学习系统划分为预训练、训练、后训练、部署和推断等五个阶段，提出明确的分类法，以分析各个防御机制的机制、联系和差异，并激发未来研究开发更先进、全面的防御机制。

    Dec, 2023

  • 保护机器学习模型免受对抗样本的安全隐患

    本文研究机器学习中的安全和隐私领域，重点探究性会员推断攻击是否会受到对抗性的防御方法的影响，并通过实验验证证明对抗性的防御方法可以增加目标模型的风险。

    May, 2019

  • 机器学习系统的风险

    提出了一个上下文敏感的机器学习系统风险框架（MLSR），该框架用于识别机器学习系统的一阶和二阶风险，包括应用、设计、控制等，并将伦理 / 人权风险与系统风险结合起来，为机器学习系统进行全面的风险评估铺平了道路。

    Apr, 2022

  • 法律与对抗式机器学习

    研究机器学习系统如何应对对抗性操纵时，探讨了计算机犯罪、版权和侵权法与扰动、污染、模型盗窃和模型反演攻击的接口，呼吁机器学习研究人员投资于透明的攻击和防御基准、考虑监管意识下的机器学习系统架构，并在公民自由的背景下更多思考对抗性机器学习问题。

    Oct, 2018

  • 机器学习中的安全和隐私地图

    该研究讨论了机器学习算法的威胁模型，提出了三个解决方案：验证和准入控制、可靠的攻击记录机制和安全与隐私的形式化框架，通过这些方案来设计出较好的机器学习系统。

    Nov, 2018