生成型人工智能系统的安全评估需要考虑风险，本文提出了一个三层框架来评估这些风险，结合体系安全原则并考虑人类互动和系统影响作为额外的评估层，同时分析现有的安全评估存在的几个问题并提出解决办法，以此实现生成型人工智能系统的全面安全评估。

Oct, 2023

建立通用人工智能系统的当前方法倾向于产生既有益又有害的能力，进一步的人工智能发展可能会导致极端风险的能力，本文解释了为什么模型评估对于解决极端风险至关重要，开发人员必须能够识别危险的能力（通过 “危险能力评估”）以及模型应用其能力进行伤害的倾向（通过 “对齐评估”），这些评估对于使政策制定者和其他利益相关者得到及时警告以及做出关于模型培训、部署和安全的负责任决策变得至关重要。

May, 2023

该研究提出了一个 AI 系统评估的框架，包括协调术语、鉴定要素和建立映射，以促进跨学科的合作和综合评估。

Apr, 2024

建议建立国际负责风险评估的 AI 联盟，以监管和规范快速发展的高级人工智能系统，缓解社会规模的风险，并推动负责任的扩展政策和协调的评估风险反应。

Oct, 2023

本章提出了七个防止人工智能系统造成伤害的课程，探讨了系统安全领域的见解，针对公共机构及基础设施中的新应用程序引发的新危害，阐述了诊断和消除新人工智能系统危害的共识缺失，并探讨了有效人工智能管理所需的跨学科方法和共享语言。

Feb, 2022

AI 专家建议在高风险的人工智能系统开发或部署之前，公司应该要求展示这些系统的安全性。本文旨在扩展这个想法并探讨其对风险管理的影响。我们认为开发或部署高风险人工智能系统的实体应该提供积极安全的证据，并确保其活动将风险保持在可接受的阈值以下。

Apr, 2024

AI 系统的安全性、风险和社会影响的理解，以及人工智能与人类交互的模型评估，是本文的主题。我们讨论并实施了一种新兴评估方法 ——“人机交互评估”，将其运用于安全评估的有效性、直接人类影响和特定交互的危害，以及指导未来模型社会影响的评估。通过一个包含人 - LLM 交互分类的安全焦点的 HIE 设计框架，我们将其应用于两个潜在的过度依赖和说服风险评估，并提出对于 HIE 成本、可复制性和不代表性的担忧的切实建议。

May, 2024

对生成式人工智能系统进行独立评估和红队测试对于识别风险至关重要，但主要人工智能公司用于阻止模型滥用的服务条款和执法策略对善意安全评估存在不利因素，因此一些研究人员担心进行此类研究或公开发现将导致账户暂停或法律报复。我们提议重要人工智能开发者承诺提供法律和技术的 “安全港”，为公共利益的安全研究提供保障，免于账户暂停或法律报复的威胁。我们相信这些承诺是朝着更具包容性和顺畅的社区合作努力，解决生成式人工智能的风险问题所需的必要步骤。

Mar, 2024

前沿 AI 模型的安全性规范与公共安全风险需求有关。建立标准设置流程、注册报告需求以及合规机制是对前沿 AI 模型进行规范的必要步骤。产业自律是重要的第一步，但还需要社会广泛讨论和政府干预以确保规范的制定和遵循。将执法权力授予监管机构和颁发前沿 AI 模型许可制度等选项可实现该目标。本文提出一组初始的安全标准，包括进行部署前的风险评估、外部对模型行为的审查、使用风险评估来指导部署决策以及在部署后监控和响应关于模型能力与应用的新信息。希望本文能为如何平衡公共安全风险与 AI 开发前沿的创新受益的广泛讨论做出贡献。

Jul, 2023

通过研究自动驾驶系统中基于人工智能的算法，本文探讨了人工智能模型的作用和挑战，特别是在复杂和高维环境中执行实时关键功能的软件元素。针对安全关键应用，为了减少 AI 模型过于自信带来的风险，提出了一些培训方法，如实现确定性报告架构和确保多样性训练数据。此外，还讨论了现有方法在安全关键应用中的适用性，强调了其优点和局限性，并提出了提高自动驾驶车辆中人工智能算法安全性和可靠性的潜在改进措施。

Feb, 2024