人工智能安全之痛苦金字塔
本研究通过分析 89 个真实的机器学习攻击情景,研究机器学习中的威胁特性、识别通用基本应对策略,最终总结出其中的最有针对性的漏洞、攻击手段及其防御方式,以共同为机器学习安全保驾护航。
Jun, 2022
本研究探讨基于人工智能的网络威胁检测以保护我们的现代数字生态系统,主要关注评估基于机器学习的分类器和集成模型,用于异常恶意软件检测和网络入侵检测,并探讨如何将这些模型整合到网络安全、移动安全和物联网安全的环境中。讨论重点是在企业系统和 IT 基础设施中部署和整合 AI 增强的网络安全解决方案的挑战,以及克服这些挑战的选择。最后,本文提供了未来研究方向,以进一步增强我们现代数字产业、基础设施和生态系统的安全性和韧性。
Oct, 2023
本文提出了一种人工智能安全分类法,系统化地分类机器学习系统的威胁、漏洞和安全控制。首先分类了针对 ML 系统的攻击,定义了特定于 ML 的安全性并讨论其特点。然后,明确了所有相关资产和利益相关者,并为 ML 特定威胁提供了一般分类法。最后,通过对最近文献的广泛审查,收集了对 ML 特定威胁的各种安全控制措施,并将 ML 系统的漏洞和控制措施按照其整个生命周期中容易受到攻击的资源进行分类。
Jan, 2023
该报告调查了恶意使用 AI 的潜在安全威胁的现状,并提出了更好地预测,预防和减轻这些威胁的方法。在分析了 AI 可能如何影响数字,物理和政治领域的威胁格局之后,我们为 AI 研究人员和其他利益相关者提出了四个高层次的建议。我们还建议一些有前途的研究领域,以扩展防御手段的组合,或使攻击变得不那么有效或难以执行。最后,我们讨论了进攻者和防御者的长期平衡,但并未得出确定性结论。
Feb, 2018
最近的研究发现了人工智能安全领域研究与实践之间存在的差距:学术界研究的威胁并不总是反映了人工智能的实际使用和安全风险。我们的研究是为了描述这种差异的完整程度,并将六种最常研究的人工智能安全攻击威胁模型与实际使用中的人工智能进行匹配。我们发现所有的现有威胁模型确实是适用的,但也存在重大差异:研究常常太宽容于攻击者,并假设实际环境中很少可用的信息。因此,我们的论文呼吁在人工智能安全领域研究更多实用的威胁模型。
Nov, 2023
该研究讨论了机器学习算法的威胁模型,提出了三个解决方案:验证和准入控制、可靠的攻击记录机制和安全与隐私的形式化框架,通过这些方案来设计出较好的机器学习系统。
Nov, 2018
通过使用一种多部分检查表的框架,我们展示了如何高效地评估海上自主系统的人工智能安全,并揭示其中的多个漏洞,从中毒到对抗性补丁攻击。通过系统化的人工智能红队行动,我们可以防止与提高对使命关键人工智能的接受和依赖性相应的严重事件。
Dec, 2023
本研究综述了值得信赖的人工智能(TAI)及其各种定义,提出了离开支配和工程语境中的责任或伦理人工智能等术语以明确任何混淆的建议,并强调了公平性、偏见、风险、安全性、可解释性和可靠性等关键属性和特性以发展一个普遍框架来处理这些问题,同时考虑了欧盟、中国和美国在 AI 领域的政策和法规以及跨国公司面临的调整挑战,提出了一个新的框架 SFMA 来执行 TAI 和规范化措施,同时警示过度规制对 TAI 和技术创新可能造成的危害。
Mar, 2024