本文系统地讨论了人工智能可能面临的灾难性风险，将其分为恶意使用、AI 竞赛、组织风险和流氓 AI 等四类，并提出了实用建议以减轻这些风险。

Jun, 2023

本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

Nov, 2022

在监控技术领域，特别是人脸识别技术中，本研究对国家标准与技术研究院的人工智能风险管理框架（NIST AI RMF）的应用和影响进行了深入分析。通过案例研究，论文展示了 NIST AI RMF 在识别和减轻这些技术中可能被忽视的风险方面的实用性。我们的主要目标是制定一套面向监控技术的综合风险管理策略，以可行、可扩展的方式推进负责任的人工智能利用实践。此过程强调持续评估和改进，以帮助公司更加有力地管理与人工智能相关的风险，并确保道德和负责任地部署人工智能系统。此外，我们的分析揭示并讨论了国家标准与技术研究院的人工智能风险管理框架目前存在的关键缺陷，特别是在监控技术应用方面。这些洞察为人工智能治理和风险管理的讨论做出了贡献，突出了 NIST AI RMF 等框架未来改进和发展的方向。

Mar, 2024

该研究提供了一个网络安全风险分析框架来评估带有人工智能组件的系统，以满足欧盟人工智能法、NIST 人工智能风险管理框架以及相关规范的要求，并使用自动驾驶系统的示例进行说明。

Jan, 2024

人工智能领域的最新进展建立了解决具有挑战性任务的基础，然而，与人工智能的集成带来了新的风险，因此为了从其优势中受益，必须充分应对与人工智能相关的风险。本文介绍了 AI 危害管理（AIHM）框架，提供了一个结构化的过程，以系统地识别、评估和处理 AI 危害。建议的过程与开发同时进行，以确保任何 AI 危害都能在 AI 系统生命周期的最早阶段捕捉到。此外，为了确保 AI 系统的可审计性，提出的框架系统地记录证据，表明已经减少了识别出的 AI 危害的潜在影响到可容忍水平的程度。该框架基于来自综合的最新分析的 AI 危害列表，并提供了一个支持识别出的 AI 危害的最佳处理方式的分类方法。此外，我们举例说明了 AIHM 框架如何通过系统地降低识别的危害对电网 AI 用例的总体质量产生积极影响。

Oct, 2023

该报告旨在通过梳理先前的分歧并建立一个涵盖概率估计和定量因素的模型，解释了 AI 灾难性风险相关问题及其关系；并讨论了不同类型的人工智能、技术和其先进程度，以及安全研究和失控 / 接管场景等因素的影响。

Jun, 2022

当前人工智能技术缺乏管理长尾风险的系统性讨论，而过多提升其智能和能力可能导致比人类更强大的系统从而带来生存威胁；本文提供了分析人工智能灾难性风险的指南包括如何在今天保持系统的安全、在未来影响人工智能系统安全的策略以及平衡安全和通用性的方法。

Jun, 2022

该论文提出了降低先进人工智能（AI）灭绝风险的政策建议，包括建立跨国人工智能联盟、实施全球计算能力上限、要求确认性安全评估，并提出了国际社区可以采取的中间步骤来实施这些提案和奠定围绕先进 AI 的国际协调的基础。

Oct, 2023

介绍了通过执行全面的 AI 生命周期治理来降低人工智能风险的最佳方法，定量评估现有模型的风险可以类比于如何评估已经建造的房屋的能源效率或医生根据一系列测试评估整体患者健康状况，本文探讨了这一思路，并讨论了这种方法如何改善 AI 的监管。

Sep, 2022

该研究论文通过对 EU AI 法案规定的技术文档的深入分析，以 AI 风险管理为重点，提出了 AI 卡作为一种新颖的综合框架，通过人机可读的格式来表示 AI 系统的预期用途，以实现透明性、可理解性和互操作性，为法律合规性和一致性评估任务提供了自动化工具的开发能力。

Jun, 2024