AI 产品安全：开发者入门
通过对 28 个组织的采访，我们发现行业从业者缺乏保护、检测和响应机器学习系统攻击的战术和战略工具。此文章旨在从开发者 / ML 工程师和安全事件响应者的角度，阐述了机器学习系统在传统软件安全开发背景下的安全性视图差异，以期鼓励研究人员在对抗 ML 领域中修订和修改软件安全开发生命周期。
Feb, 2020
过去十年中，对抗攻击算法揭示了深度学习工具的不稳定性，这些算法引发了与人工智能中的安全性、可靠性和可解释性相关的问题，尤其是在高风险环境中。从实际角度来看，攻击和防御策略开发者之间发生了一场升级战。在更理论层面上，研究人员还研究了关于攻击的存在和可计算性的更大问题。在这篇文章中，我们对该主题进行了简要概述，重点关注对应用和计算数学领域的研究人员可能感兴趣的方面。
Aug, 2023
本文讨论机器学习中的安全和安保问题，主要涉及神经网络分类、视觉应用和预测性维护等领域，指出了其中存在的安全和安保漏洞，为推广该技术提供了风险评估的方法。
Jul, 2022
人工智能 (AI) 和机器学习 (ML) 在开发新型防御和情报能力方面已变得越来越重要。A2I 攻击旨在欺骗和操纵 AI/ML 模型，因此 AI/ML 模型必须能够抵御这些攻击。A2IWG 旨在通过在美国国防部和情报机构之间建立协作环境，通过新的 A2I/AML 防御手段，推动确保 AI/ML 能力的研究和开发，并针对具体挑战，重点关注 AI 可信鲁棒性，AI 系统安全性和 AI/ML 架构漏洞。
Sep, 2020
通过研究典型 AI 代理的工作流程和体验，我们从系统安全的角度详细描述了 AI 代理中存在的潜在漏洞，强调了其原因和严重影响，并介绍了相应的防御机制及其有效性评估实验，从而让 AI 代理的安全性和可靠性得到进一步提升。
Jun, 2024
该报告调查了恶意使用 AI 的潜在安全威胁的现状，并提出了更好地预测，预防和减轻这些威胁的方法。在分析了 AI 可能如何影响数字，物理和政治领域的威胁格局之后，我们为 AI 研究人员和其他利益相关者提出了四个高层次的建议。我们还建议一些有前途的研究领域，以扩展防御手段的组合，或使攻击变得不那么有效或难以执行。最后，我们讨论了进攻者和防御者的长期平衡，但并未得出确定性结论。
Feb, 2018
最近的研究发现了人工智能安全领域研究与实践之间存在的差距：学术界研究的威胁并不总是反映了人工智能的实际使用和安全风险。我们的研究是为了描述这种差异的完整程度，并将六种最常研究的人工智能安全攻击威胁模型与实际使用中的人工智能进行匹配。我们发现所有的现有威胁模型确实是适用的，但也存在重大差异：研究常常太宽容于攻击者，并假设实际环境中很少可用的信息。因此，我们的论文呼吁在人工智能安全领域研究更多实用的威胁模型。
Nov, 2023