无需强鲁棒机器学习来管理对抗攻击风险
本章探索了机器学习(ML)中鲁棒性的基本概念及其在建立可信人工智能(AI)系统中的关键作用。讨论从详细定义鲁棒性开始,描绘了 ML 模型在各种意外环境条件下保持稳定性能的能力。通过不同视角剖析 ML 鲁棒性:与泛化能力的互补性,作为可信 AI 的要求,对抗性与非对抗性方面,定量评价指标,以及可重复性和可解释性等指标。本章深入探讨了影响鲁棒性的因素,如数据偏差、模型复杂性和不规范的 ML 流程的陷阱。从广泛的角度调查了鲁棒性评估的关键技术,包括对抗性攻击,包括数字和物理领域。它还涵盖了非对抗性数据转移和深度学习(DL)软件测试方法的细微差别。讨论进一步探索了增强鲁棒性的改进策略,从以数据为中心的方法如去偏和增强开始。进一步的研究包括各种以模型为中心的方法,如迁移学习、对抗训练和随机平滑等。最后,讨论了训练后方法,包括集成技术,修剪和模型修复,作为提高模型对不可预测因素的适应性的经济有效策略。本章强调现有方法对 ML 鲁棒性的估计和实现所面临的挑战和局限性,并为未来关于这一关键概念的研究提供了洞见和方向,作为可信 AI 系统的先决条件。
Apr, 2024
机器学习和量子计算的结合有潜力提供更高的准确性和计算效率,并对抗攻击产生更强的鲁棒性。然而,要建立强大的 QAML 工具仍有挑战。本文回顾了 QAML 的最新进展、字典并提出未来的研究方向,以期在量子计算硬件规模扩大和噪声水平降低的情况下实现 QAML 方法的实用性。
Jun, 2023
通过对网络入侵检测系统进行基于机器学习的威胁模拟,发现现有文献中的威胁模型不适用于实际的网络安全情景,因此,有必要加强现有防御系统以及探索更加真实和有效的对抗方式。
Jun, 2021
使用领域特定的原始对抗攻击以及文献记录的对抗攻击,我们使用贷款等级分类问题来探讨机器学习模型对用户报告数据中微小变化的敏感性,并使用强健优化算法来构建金融服务的模型对扰动有抗分类误差的能力,这是金融服务深度学习中对抗攻击和防御的首项研究。
Nov, 2018
该研究探讨了如何使用对抗性学习通过生成基于 Jacobian 的显著性图攻击的对抗性样本以及探索分类行为,从而攻击监督模型。该分析还包括如何使用对抗性训练来支持监督模型的鲁棒性。随着对抗性样本的出现,两个广泛使用的分类器 —— 随机森林和 J48 的分类性能分别降低了 16 和 20 个百分点,但训练后它们的性能得到提高,证明了它们对这种攻击的鲁棒性。
Apr, 2020
本文通过系统的文献综述,收集了 86 篇相关文献。结果表明,大多数的研究都集中在隐私攻击上,虽然有有效的防御手段,但是很多攻击缺乏有效和普适的防御措施。基于这些结果,我们提出了针对无监督学习攻击的模型,为未来的研究提供了一个可供使用的模型。
Jun, 2023
本篇研究通过分类对抗性攻击和防御方法,提出三类半定界数理优化问题,即对抗 (再) 训练、正则化方法和认证防御,并调查了最近的研究成果和挑战以及展望未来的发展。
Jul, 2020