AI Incident Database 提出了对于 AI 事件(即危害或可能危害的事件)和问题(即危害事件的风险)采用两层索引系统的方案,并因此引入了 “事件变体” 的概念,以应对大量机器学习产生的事件,该提案是 AIID 根据 2000 多个事件报告和新的 “问题” 类别的教训而过渡到新版本的反应。
Nov, 2022
本文重点研究了 AI 安全的相关问题,通过 AI Incident Database(AIID)中的事件数据库来推断导致 AI 失败和损害的潜在和可能的技术因素,提出了一种涵盖多级因素的分类系统,并通过专家知识和社区反馈的流程,从而为事件着陆提供了涵盖着陆数据和人类专业知识的分类注释。
AI 伦理教育的主要目标之一是提高人们对人工智能危害的认识,而本研究评估了 AI Incident Database (AIID) 作为提高社会高风险领域中人工智能危害的认知度的教育工具的有效性,发现使用该数据库可以帮助学生更好地理解人工智能危害的严重性和紧迫性,并提出了改进教育工具的建议。
Oct, 2023
该研究通过对 AI 事故数据库的内容分析,确定出发生非伦理行为的 13 个主要应用领域和 8 种不同形式的伦理问题,旨在提供给 AI 从业者一个实用指南来在 AI 应用过程中遵守伦理准则。
Jun, 2022
本文介绍了一个新的安全预防的 IncidentAI 数据集,与通常只包含单个任务的先前的语料库不同,我们的数据集包括三个任务:命名实体识别、因果关系提取和信息检索。该数据集由至少有六年实践经验的高压气体保护管理员领域的专家进行标注。我们验证了数据集在安全预防场景中的贡献。三个任务的初步结果显示,自然语言处理技术有助于分析事故报告以预防未来的故障。该数据集促进了自然语言处理和事故管理社区的未来研究。同时提供对数据集的访问(IncidentAI 数据集的访问链接:https:// 此处放置链接)。
AI 安全的概念在社会中日益普及,AI 社区越来越关注 AI Safety 的概念,即防止在 AI 部署过程中系统行为意外偏离设计意图而导致的故障。通过分析真实案例,我们展示了当前的词汇虽然能够涵盖 AI 部署中遇到的一系列问题,但仍需要一个扩展的社会技术框架来更好地理解 AI 系统和实施的安全机制在现实生活中的成功与失败。
Dec, 2023
研究人工智能事故及其在在线环境中的构建机制,并探讨人工智能设计与部署中的参与方式。
Jan, 2024
本章提出了七个防止人工智能系统造成伤害的课程,探讨了系统安全领域的见解,针对公共机构及基础设施中的新应用程序引发的新危害,阐述了诊断和消除新人工智能系统危害的共识缺失,并探讨了有效人工智能管理所需的跨学科方法和共享语言。
Feb, 2022
讨论机器学习与人工智能技术对社会潜在影响的一个问题:机器学习系统中的意外事故风险和如何抵御。我们提出了五个与事故风险相关的实际研究问题,涉及到错误的目标函数、过于昂贵的监督、安全探索和分布变化等方面。最后,思考了如何更具生产力地思考人工智能前瞻性应用的安全问题。
Jun, 2016
研究人工智能的安全性,认为未来人工智能的故障频率和严重性将不断增加,并将其与网络安全相比较。对于一般人工智能系统失误的影响将比狭窄人工智能系统更深远,建议应加强其安全性以确保零失误的发生,尽管这是不可能的。
Oct, 2016