Mar, 2024

NIST AI 风险管理框架在监控技术中的应用

PDF
TL;DR在监控技术领域，特别是人脸识别技术中，本研究对国家标准与技术研究院的人工智能风险管理框架（NIST AI RMF）的应用和影响进行了深入分析。通过案例研究，论文展示了 NIST AI RMF 在识别和减轻这些技术中可能被忽视的风险方面的实用性。我们的主要目标是制定一套面向监控技术的综合风险管理策略，以可行、可扩展的方式推进负责任的人工智能利用实践。此过程强调持续评估和改进，以帮助公司更加有力地管理与人工智能相关的风险，并确保道德和负责任地部署人工智能系统。此外，我们的分析揭示并讨论了国家标准与技术研究院的人工智能风险管理框架目前存在的关键缺陷，特别是在监控技术应用方面。这些洞察为人工智能治理和风险管理的讨论做出了贡献，突出了 NIST AI RMF 等框架未来改进和发展的方向。
发现论文，激发创造
  • 基于人工智能组件的系统的网络安全风险分析框架

    该研究提供了一个网络安全风险分析框架来评估带有人工智能组件的系统，以满足欧盟人工智能法、NIST 人工智能风险管理框架以及相关规范的要求，并使用自动驾驶系统的示例进行说明。

    Jan, 2024

  • 面向高风险 AI 风险管理的可执行指南：朝着应对人工智能灾难性风险的标准迈进

    本文介绍了美国国家标准与技术研究所（NIST）人工智能风险管理框架，提出了针对潜在误用和滥用、人权损害、灾难性风险等方面的风险识别和管理建议，并给出了对于更为多样化、通用化的人工智能的监管方案。

    Jun, 2022

  • RMF：机器学习模型的风险测量框架

    使用机器学习模型在许多与安全和安全性相关的应用中，重要的是衡量使用机器学习的系统的安全性。本文关注机器学习领域，特别是自动驾驶车辆的安全性。为此，将描述、实施和评估一个技术框架，通过案例研究来使用 ISO/IEC 27004:2016 中的风险指标来衡量和评估损害程度和攻击者所需的努力。不过，无法确定一个单一的风险值来代表攻击者的努力，因此需要单独解释四个不同的值。

    Jun, 2024

  • AI 风险管理：针对 AI 风险的根本原因的系统化管理框架

    人工智能领域的最新进展建立了解决具有挑战性任务的基础，然而，与人工智能的集成带来了新的风险，因此为了从其优势中受益，必须充分应对与人工智能相关的风险。本文介绍了 AI 危害管理（AIHM）框架，提供了一个结构化的过程，以系统地识别、评估和处理 AI 危害。建议的过程与开发同时进行，以确保任何 AI 危害都能在 AI 系统生命周期的最早阶段捕捉到。此外，为了确保 AI 系统的可审计性，提出的框架系统地记录证据，表明已经减少了识别出的 AI 危害的潜在影响到可容忍水平的程度。该框架基于来自综合的最新分析的 AI 危害列表，并提供了一个支持识别出的 AI 危害的最佳处理方式的分类方法。此外，我们举例说明了 AIHM 框架如何通过系统地降低识别的危害对电网 AI 用例的总体质量产生积极影响。

    Oct, 2023

  • 利用统计方法测量人工智能模型中的偏差及其应用于面部生物特征识别

    这篇研究论文提出了用新的风险法律方法来规范人工智能的应用，重点着眼于如何检测和减少人工智能中的偏差，并提出了一种基于 N-Sigma 统计学方法的新方法来测量机器学习模型的偏差，以及如何将其应用于开发新的风险评估框架，还探讨了该方法与其他流行统计测试方法的优缺点。

    Apr, 2023

  • 量化人工智能风险评估：机遇与挑战

    介绍了通过执行全面的 AI 生命周期治理来降低人工智能风险的最佳方法，定量评估现有模型的风险可以类比于如何评估已经建造的房屋的能源效率或医生根据一系列测试评估整体患者健康状况，本文探讨了这一思路，并讨论了这种方法如何改善 AI 的监管。

    Sep, 2022

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 立足于 FURM 框架之上 —— 评估医疗系统中公平、有用和可靠的 AI 模型

    使用人工智能（AI）指导患者护理或操作过程的影响是 AI 模型输出、基于该输出的决策制定协议以及参与方采取必要后续行动的相互作用。斯坦福医疗保健的数据科学团队开发了一种 “公平、有用和可靠 AI 模型（FURM）” 的机制，通过进行伦理审查来识别潜在的价值不匹配，通过模拟估计有用性，通过财务预测评估可持续性，以及通过分析来确定 IT 的可行性，设计部署策略，并推荐前瞻性的监测和评估计划，从而实现在部署之前估计其影响效果，以及在实时研究其影响效果。我们报道了对六个 AI 模型指导解决方案进行的 FURM 评估，以评估其潜在采用性的过程，涵盖临床和操作设置，每年可能影响数十个到数万个患者。我们描述了评估过程，总结了这六个评估，并分享了我们的框架，以使他人能够进行类似的评估。在我们评估的六个方案中，有两个已进入规划和实施阶段。我们的创新贡献，包括模拟估计的有用性、量化可持续性的财务预测以及进行伦理评估的过程，以及底层方法和开源工具，可供其他医疗保健系统进行可行的候选 AI 解决方案评估。

    Feb, 2024

  • 保障海上自治系统中人工智能的红队框架

    通过使用一种多部分检查表的框架，我们展示了如何高效地评估海上自主系统的人工智能安全，并揭示其中的多个漏洞，从中毒到对抗性补丁攻击。通过系统化的人工智能红队行动，我们可以防止与提高对使命关键人工智能的接受和依赖性相应的严重事件。

    Dec, 2023

  • 控制科学中人工智能潜在滥用的风险

    该研究旨在提高科学领域中人工智能滥用的危险，并呼吁在该领域中负责任地开发和使用人工智能。通过列举科学环境中人工智能带来的风险，并通过化学科学领域的实际滥用示例来展示这些风险，高亮显示了有效的风险管理策略的需求。为此，我们提出了一个名为 SciGuard 的系统来控制科学中人工智能模型的滥用风险，并提出了一个名为 SciMT-Safety 的红队基准来评估不同系统的安全性。我们的提议在评估中显示出最小的有害影响，并且在良性测试中不会影响性能。最后，我们强调了跨学科和合作努力来确保在科学中安全和道德地使用人工智能模型的需求。我们希望我们的研究能够激发研究人员、从业者、决策者和公众之间就科学中的人工智能的道德使用展开有建设性的讨论，以最大化利益，最小化滥用风险。

    Dec, 2023