Nov, 2022

使用事故、问题和变种索引 AI 风险

PDF
TL;DRAI Incident Database 提出了对于 AI 事件（即危害或可能危害的事件）和问题（即危害事件的风险）采用两层索引系统的方案，并因此引入了 “事件变体” 的概念，以应对大量机器学习产生的事件，该提案是 AIID 根据 2000 多个事件报告和新的 “问题” 类别的教训而过渡到新版本的反应。
ai incident databaseharm eventsmachine learningrisk assessmentincident variant
发现论文，激发创造
  • 通过事故目录记录防止人工智能重复出现问题：AI 事故数据库

    通过建立智能系统事故数据库，可以避免智能系统设计、开发、部署中的重复错误，该数据库已收集了超过 1000 个已经发生的事故报告以支持相关研究和开发用例。

    Nov, 2020

  • 以 AI 事故数据库作为提高对 AI 危害意识的教育工具：对其效果、局限性和未来改进的课堂探索

    AI 伦理教育的主要目标之一是提高人们对人工智能危害的认识，而本研究评估了 AI Incident Database (AIID) 作为提高社会高风险领域中人工智能危害的认知度的教育工具的有效性，发现使用该数据库可以帮助学生更好地理解人工智能危害的严重性和紧迫性，并提出了改进教育工具的建议。

    Oct, 2023

  • 一种针对开源 AI 事件的故障原因分析分类系统

    本文重点研究了 AI 安全的相关问题，通过 AI Incident Database（AIID）中的事件数据库来推断导致 AI 失败和损害的潜在和可能的技术因素，提出了一种涵盖多级因素的分类系统，并通过专家知识和社区反馈的流程，从而为事件着陆提供了涵盖着陆数据和人类专业知识的分类注释。

    Nov, 2022

  • AI 事件和 ' 联网麻烦 ': 一个研究议程的案例

    研究人工智能事故及其在在线环境中的构建机制，并探讨人工智能设计与部署中的参与方式。

    Jan, 2024

  • 现实世界中的人工智能伦理问题：基于人工智能事故数据库的证据

    该研究通过对 AI 事故数据库的内容分析，确定出发生非伦理行为的 13 个主要应用领域和 8 种不同形式的伦理问题，旨在提供给 AI 从业者一个实用指南来在 AI 应用过程中遵守伦理准则。

    Jun, 2022

  • 迈向更安全的运营：一个专家参与的高压气体事故数据集，以预防未来故障

    本文介绍了一个新的安全预防的 IncidentAI 数据集，与通常只包含单个任务的先前的语料库不同，我们的数据集包括三个任务：命名实体识别、因果关系提取和信息检索。该数据集由至少有六年实践经验的高压气体保护管理员领域的专家进行标注。我们验证了数据集在安全预防场景中的贡献。三个任务的初步结果显示，自然语言处理技术有助于分析事故报告以预防未来的故障。该数据集促进了自然语言处理和事故管理社区的未来研究。同时提供对数据集的访问（IncidentAI 数据集的访问链接：https:// 此处放置链接）。

    Oct, 2023

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 人工智能安全中的具体问题

    讨论机器学习与人工智能技术对社会潜在影响的一个问题：机器学习系统中的意外事故风险和如何抵御。我们提出了五个与事故风险相关的实际研究问题，涉及到错误的目标函数、过于昂贵的监督、安全探索和分布变化等方面。最后，思考了如何更具生产力地思考人工智能前瞻性应用的安全问题。

    Jun, 2016

  • 评估人工智能影响评估：一项课堂研究

    通过课堂调查研究，作者发现 AI 影响评估（AIIAs）对参与者对生成型人工智能系统的潜在风险以及 AI 专家在解决潜在危害中所承担责任的感知具有影响，并对现有的 AIIA 工具进行了限制性分析，提出了未来发展和验证 AIIAs 的建议。

    Nov, 2023

  • 系统安全和人工智能

    本章提出了七个防止人工智能系统造成伤害的课程，探讨了系统安全领域的见解，针对公共机构及基础设施中的新应用程序引发的新危害，阐述了诊断和消除新人工智能系统危害的共识缺失，并探讨了有效人工智能管理所需的跨学科方法和共享语言。

    Feb, 2022