基于机器学习系统的安全性：在训练和推理期间的攻击和挑战

Nov, 2018

基于机器学习系统的安全性：在训练和推理期间的攻击和挑战

Security for Machine Learning-based Systems: Attacks and Challenges during Training and Inference

Faiq Khalid, Muhammad Abdullah Hanif, Semeen Rehman, Muhammad Shafique

TL;DR对机器学习中存在的各种安全威胁、威胁模型及相关挑战进行了简要概述，利用 LeNet 和 VGGNet 对 MNIST 和 GTSRB 等基准进行了安全威胁演示，提出并解决了部分误差影响并较小的攻击方式，并阐述了开发安全措施的相关技术。

Abstract

The exponential increase in dependencies between the cyber and physical world leads to an enormous amount of data which must be efficiently processed and stored. Therefore, computing paradigms are evolving towards machine learning (ML)-based systems because of their ability to efficien

machine learning security vulnerabilities data processing threat models security measures

发现论文，激发创造

机器学习中安全与隐私科学的探索

ML 在安全性方面存在漏洞，提出威胁模型并对攻击进行分类，探究了模型准确性与抗敌对操作的关系。

Nov, 2016

基于机器学习系统的威胁评估

本研究通过分析 89 个真实的机器学习攻击情景，研究机器学习中的威胁特性、识别通用基本应对策略，最终总结出其中的最有针对性的漏洞、攻击手段及其防御方式，以共同为机器学习安全保驾护航。

Jun, 2022

ML-Leaks: 对机器学习模型进行模型和数据无关的成员资格推断攻击和防御

本文提出了针对机器学习服务的会员推理攻击的可能性，并放宽了先前攻击假设中的关键假设，说明这些攻击的适用性广泛且代价低廉，从而比先前认为的更具严重性；提出了对抗此类攻击的第一种有效机制，并保持模型的高效性。

Jun, 2018

SecurityNet: 评估公共模型的机器学习漏洞

将公共模型用于评估机器学习模型的攻击和防御方法，表明这些攻击 / 防御方法在公共模型上的表现与自行训练的模型存在显著差异。

Oct, 2023

深度学习模型中的安全与隐私挑战

深度学习模型在多个领域取得了巨大的成功，但研究发现这些模型存在各种攻击，会危及模型的安全性和数据隐私，特别是模型抽取攻击、模型反转攻击和对抗攻击。这篇论文研究了这些攻击以及它们对深度学习模型的影响。

Nov, 2023

基于机器学习的系统的威胁、漏洞和控制：一项调查和分类

本文提出了一种人工智能安全分类法，系统化地分类机器学习系统的威胁、漏洞和安全控制。首先分类了针对 ML 系统的攻击，定义了特定于 ML 的安全性并讨论其特点。然后，明确了所有相关资产和利益相关者，并为 ML 特定威胁提供了一般分类法。最后，通过对最近文献的广泛审查，收集了对 ML 特定威胁的各种安全控制措施，并将 ML 系统的漏洞和控制措施按照其整个生命周期中容易受到攻击的资源进行分类。

Jan, 2023

云计算中基于机器学习的安全性综述

云计算正在革命性地改变 IT 资源交付给用户的方式，减少成本并简化基础设施。然而，伴随云计算的增长而来的安全风险包括可用性、完整性和机密性威胁。为了解决这些挑战，云服务提供商越来越多地使用机器学习来减少对人工干预的需求，以识别和解决安全问题。机器学习能够分析大量数据并进行高准确性预测，因此可以改变云服务提供商对待安全性的方式。本文将研究基于机器学习的云安全领域中的最新研究。我们将对一系列机器学习算法的特征和有效性进行探讨，重点介绍它们的特点和潜在限制。我们的目标是全面了解机器学习在云安全领域的现状，并揭示这个新兴领域所能带来的令人振奋的可能性。

Sep, 2023

机器学习中的安全和隐私地图

该研究讨论了机器学习算法的威胁模型，提出了三个解决方案：验证和准入控制、可靠的攻击记录机制和安全与隐私的形式化框架，通过这些方案来设计出较好的机器学习系统。

Nov, 2018

电力系统中的机器学习是否存在漏洞？

本文探讨了机器学习在电力系统中的安全性问题，并指出目前大多数算法容易受到对抗性输入数据的攻击，因此需要设计更加健壮和安全的算法。

Aug, 2018

图机器学习的安全性：威胁与保障

探讨了提高图机器学习（Graph ML）安全性的三个关键方面：可靠性、泛化能力和保密性，并采用一种新的分类法分析了与这些方面相关的威胁，指导评估有效策略来保护图 ML 模型的安全性，为未来的研究奠定基础。

May, 2024