安全案例:为先进人工智能系统提供安全证明
本章提出了七个防止人工智能系统造成伤害的课程,探讨了系统安全领域的见解,针对公共机构及基础设施中的新应用程序引发的新危害,阐述了诊断和消除新人工智能系统危害的共识缺失,并探讨了有效人工智能管理所需的跨学科方法和共享语言。
Feb, 2022
AI 安全的概念在社会中日益普及,AI 社区越来越关注 AI Safety 的概念,即防止在 AI 部署过程中系统行为意外偏离设计意图而导致的故障。通过分析真实案例,我们展示了当前的词汇虽然能够涵盖 AI 部署中遇到的一系列问题,但仍需要一个扩展的社会技术框架来更好地理解 AI 系统和实施的安全机制在现实生活中的成功与失败。
Dec, 2023
AI 专家建议在高风险的人工智能系统开发或部署之前,公司应该要求展示这些系统的安全性。本文旨在扩展这个想法并探讨其对风险管理的影响。我们认为开发或部署高风险人工智能系统的实体应该提供积极安全的证据,并确保其活动将风险保持在可接受的阈值以下。
Apr, 2024
本文提出了将 AI 组件纳入保证案例的更全面的证明结构,以显示其已实现定量目标的能力,包括测试结果、运行时方面、范围符合性和测试数据质量的数量化考虑和讨论.
Feb, 2022
该研究论文提出了一种基于四个核心道德原则的框架 - 一个伦理保证论证模式 - 来结构化系统化地推理出在特定情境下使用给定的人工智能 / 自主系统的道德可接受性,以此来扩展和应用保证论证方法,从而获得使用 AI 和自主系统时的可接受道德保证。
Mar, 2022
本文探讨了 AI 系统在不可预测的环境下操作时带来的挑战,提出了一种严格的工程框架,旨在最大程度地减小不确定性,从而提高对 AI 系统安全行为的信心。
Jan, 2022
机器学习在工业系统中的应用以及其安全性和合规性对于决策辅助等关键功能具有重要意义,然而,当前机器学习组件的低形式化程度和不确定性使得使用传统的关键系统工程方法难以验证和验证其安全性,因此需要制定适用于人工智能的规范和监管标准,提出可信的人工智能认证方法和工具。
Sep, 2023
通过世界模型、安全规范和验证器的相互作用,提出了一系列保证安全的人工智能(AI)方法,旨在为 AI 系统提供高保证的量化安全保证,并描述了核心技术挑战和潜在解决方案。
May, 2024
高级 AI 模型的安全性和责任评估是研究和实践的一个关键但发展中的领域。该报告总结了 Google DeepMind 在高级 AI 模型的开发中创新并应用了一系列广泛的安全评估方法,并分享了其演变过程中的方法以及从中得出的教训。
Apr, 2024