机器学习需要自己的随机性标准：随机平滑和基于伪随机数生成器的攻击

Jun, 2023

机器学习需要自己的随机性标准：随机平滑和基于伪随机数生成器的攻击

Machine Learning needs its own Randomness Standard: Randomised Smoothing and PRNG-based attacks

Pranav Dahiya, Ilia Shumailov, Ross Anderson

TL;DR本文考虑攻击者是否可以只利用制造机器学习模型所依赖的随机性来破坏模型的安全性，发现攻击者能够利用 Randomised Smoothing，一种用于提高模型抵抗对抗性攻击和量化不确定性的方法，背后基于对高斯噪声采样，来进行欺骗性认证，而且攻击只需要更改极小的随机数。因此，作者提出更新 NIST 的随机数测试准则，以使其更适用于安全和关键性的机器学习应用。

Abstract

randomness supports many critical functions in the field of machine learning (ML) including optimisation, data selection, privacy, and security

randomness machine learning security randomised smoothing attack

发现论文，激发创造

随机平滑在受攻击环境下的实际效果如何？

本研究发现随机平滑在理论认证与实践中保护分类器免受黑盒攻击的设置存在差异，对 RS 进行攻击会导致认证的鲁棒性下降且分类器准确度降低。

Apr, 2022

信任，但要验证：随机平滑技术综述

机器学习模型容易受到对抗攻击，通过随机平滑技术进行认证防御可以提高分类器的鲁棒性。该研究探讨了随机平滑的理论基础、实证有效性和应用，系统化总结了现有知识并提出潜在解决方案。

Dec, 2023

基于机器学习的恶意软件检测器的认证对抗鲁棒性：(去) 随机平滑

本研究提出了一种针对补丁攻击的可验证防御机制，通过将可执行文件划分为非重叠的块，并采用多数投票的方式计算最终预测结果，从而最小化注入内容的影响。此外，引入了预处理步骤，将部分和标头的大小固定为块大小的倍数，从而确保恶意内容仅存在于整数个块中，同时保证对内容插入攻击具有认证的鲁棒性保证。经过广泛的消融研究，结果表明我们的方法在强攻击下展现出无与伦比的鲁棒性，优于文献中基于随机平滑的防御方法。

May, 2024

通过随机平滑验证针对后门攻击的鲁棒性

本研究研究证明采用随机平滑技术可用于认证抵御后门攻击的鲁棒性，并探讨了现有方法的局限性，强调需要新的理论和方法来认证抵御后门攻击的鲁棒性。

Feb, 2020

加速平滑：随机平滑的可扩展方法

通过训练替代 Monte Carlo 抽样的替代神经网络，提供随机平滑分类器的近乎精确的近似，加速鲁棒半径认证过程，克服了传统随机平滑方法中的计算瓶颈。

Feb, 2024

基于随机平滑的黑盒认证：一种基于函数优化的框架

通过一种新的框架，使用非高斯噪声和更广泛类型的攻击来实现在深度学习中的认证鲁棒性，并且比之前的方法提供更好的认证结果和新的随机平滑方法的视角。

Feb, 2020

通过随机平滑实现标签翻转攻击的认证强韧性

本文提出了一个新的机器学习算法来防御数据污染攻击，并通过随机平滑技术，构建了具有证明能力的线性分类器，可以高可信地抵御标签混淆攻击。此外，本文所提出的方法不需要对训练和测试数据集的分布作任何假设。