一种针对开源 AI 事件的故障原因分析分类系统
通过建立智能系统事故数据库，可以避免智能系统设计、开发、部署中的重复错误，该数据库已收集了超过 1000 个已经发生的事故报告以支持相关研究和开发用例。
Nov, 2020
AI Incident Database 提出了对于 AI 事件（即危害或可能危害的事件）和问题（即危害事件的风险）采用两层索引系统的方案，并因此引入了 “事件变体” 的概念，以应对大量机器学习产生的事件，该提案是 AIID 根据 2000 多个事件报告和新的 “问题” 类别的教训而过渡到新版本的反应。
Nov, 2022
人工智能和大型语言模型的快速发展使其融入各个领域，尤其是在人工智能生成的内容方面显著提高了能力。本研究通过系统分析 160 篇论文和资料库，对人工智能系统六个层面上现有的故障分析和故障注入方法进行了综述，探讨了目前 AI 系统存在的故障、当前故障注入工具能够模拟的故障类型，以及模拟故障与真实故障之间的差距。此外，本综述为故障诊断提供了一个框架，评估了故障注入技术的最新进展，同时也识别出了提升 AI 系统韧性的改进领域。
Jun, 2024
AI 安全的概念在社会中日益普及，AI 社区越来越关注 AI Safety 的概念，即防止在 AI 部署过程中系统行为意外偏离设计意图而导致的故障。通过分析真实案例，我们展示了当前的词汇虽然能够涵盖 AI 部署中遇到的一系列问题，但仍需要一个扩展的社会技术框架来更好地理解 AI 系统和实施的安全机制在现实生活中的成功与失败。
Dec, 2023
本章提出了七个防止人工智能系统造成伤害的课程，探讨了系统安全领域的见解，针对公共机构及基础设施中的新应用程序引发的新危害，阐述了诊断和消除新人工智能系统危害的共识缺失，并探讨了有效人工智能管理所需的跨学科方法和共享语言。
Feb, 2022
本文介绍了深度学习系统中的故障分类法，基于从 GitHub、Stack Overflow 和 20 个研究人员和从业者采访中获得的 1059 个人工分析的文献，以及采用 TensorFlow、Keras 和 PyTorch 等流行深度学习框架的项目。通过调查证实，几乎所有故障类型（13/15）至少被 50％的调查参与者体验过。
Oct, 2019
本文介绍了一个协作的、以人为中心的人工智能、算法和自动化伤害分类法。我们认为现有的分类法虽然有价值，但可能过于狭窄、不清晰，通常只为从业人员和政府服务，往往忽视了更广大公众的需求。通过借鉴现有分类法和大量有记录的事件，我们提出了一个可以广泛理解和适应各种受众的分类法，同时又具有灵活性、可扩展性和互操作性。通过与专家的反复完善和众包标注测试，我们提出的分类法可以成为民间组织、教育工作者、决策者、产品团队和一般公众的有力工具。通过增进对人工智能和相关技术实际伤害的理解，我们旨在提高认识，赋予非政府组织和个人识别和报告违规行为的能力，推动政策讨论，促进负责任的技术发展和应用。
Jul, 2024
本文旨在通过建立基于问责制的分类法，探讨由人工智能产生的可能导致人类社会范围内灭绝的风险类型，其中包括许多未被预见的风险，并提供技术和政策上的解决方案。
Jun, 2023
本文介绍了一个新的安全预防的 IncidentAI 数据集，与通常只包含单个任务的先前的语料库不同，我们的数据集包括三个任务：命名实体识别、因果关系提取和信息检索。该数据集由至少有六年实践经验的高压气体保护管理员领域的专家进行标注。我们验证了数据集在安全预防场景中的贡献。三个任务的初步结果显示，自然语言处理技术有助于分析事故报告以预防未来的故障。该数据集促进了自然语言处理和事故管理社区的未来研究。同时提供对数据集的访问（IncidentAI 数据集的访问链接：https:// 此处放置链接）。
Oct, 2023