引入 RISK
当前人工智能技术缺乏管理长尾风险的系统性讨论，而过多提升其智能和能力可能导致比人类更强大的系统从而带来生存威胁；本文提供了分析人工智能灾难性风险的指南包括如何在今天保持系统的安全、在未来影响人工智能系统安全的策略以及平衡安全和通用性的方法。
Jun, 2022
该研究提供了一个网络安全风险分析框架来评估带有人工智能组件的系统，以满足欧盟人工智能法、NIST 人工智能风险管理框架以及相关规范的要求，并使用自动驾驶系统的示例进行说明。
Jan, 2024
本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。
Nov, 2022
本研究调查了与人工智能相关的潜在危险引起怀疑的问题，并将它与其他科学领域中出现的怀疑形式进行比较，通过针对其中蕴含的错误思考类型进行分类，旨在更好地理解我们现有的异议并寻找令人满意的解决方式。
Feb, 2023
介绍了通过执行全面的 AI 生命周期治理来降低人工智能风险的最佳方法，定量评估现有模型的风险可以类比于如何评估已经建造的房屋的能源效率或医生根据一系列测试评估整体患者健康状况，本文探讨了这一思路，并讨论了这种方法如何改善 AI 的监管。
Sep, 2022
基于知识的逻辑从公共交通事故数据集中提取出了定义危险驾驶形式的知识，这对于识别交通危险非常关键，可以监督和改进安全关键系统中的人工智能模型。同时，我们使用自动验证方法验证了这种逻辑的健壮性。
Dec, 2023
研究了鲁棒的可重构智能面（RIS）系统设计问题，并采用不变风险最小化（IRM）的概念，在多个环境中使用不变的因果表示，以使预测器对于每个环境都是同时最优的，结果表明，利用不变性可以提供更加稳健的防范未知环境和分布之外的测试。
May, 2021
该报告旨在通过梳理先前的分歧并建立一个涵盖概率估计和定量因素的模型，解释了 AI 灾难性风险相关问题及其关系；并讨论了不同类型的人工智能、技术和其先进程度，以及安全研究和失控 / 接管场景等因素的影响。
Jun, 2022
智能驾驶系统旨在实现零碰撞移动体验，本研究侧重于风险识别，即识别和分析源自动态交通参与者和意外事件的风险。我们引入了 RiskBench，一个基于情景的大规模风险识别基准，通过设计情景分类法和增强管道，系统收集多样情景下的风险的真实数据。通过评估十种算法在检测和定位风险、预见风险以及促进决策方面的能力，我们进行了广泛的实验并总结了风险识别方面的未来研究，旨在鼓励合作努力实现零碰撞的社会。我们已在项目页面上公开了数据集和基准工具包。
Dec, 2023