Jul, 2023

前沿人工智能规管：管理新兴公共安全风险

PDF
TL;DR前沿 AI 模型的安全性规范与公共安全风险需求有关。建立标准设置流程、注册报告需求以及合规机制是对前沿 AI 模型进行规范的必要步骤。产业自律是重要的第一步，但还需要社会广泛讨论和政府干预以确保规范的制定和遵循。将执法权力授予监管机构和颁发前沿 AI 模型许可制度等选项可实现该目标。本文提出一组初始的安全标准，包括进行部署前的风险评估、外部对模型行为的审查、使用风险评估来指导部署决策以及在部署后监控和响应关于模型能力与应用的新信息。希望本文能为如何平衡公共安全风险与 AI 开发前沿的创新受益的广泛讨论做出贡献。
发现论文，激发创造
  • 风险导向的人工智能监管的风险：认真对待责任

    欧盟人工智能法案是一项基于风险的前瞻性监管方法，旨在预防某些有害结果，并提倡对数据质量和人工监督进行批判性检查；我们建议将责任视为主要监管机制，并区分潜在危害的内生和外生因素，通过合理分配开发者和使用者之间的责任来减轻风险。

    Nov, 2023

  • 前沿人工智能发展的负责报道

    减轻前沿 AI 系统的风险需要及时可靠的信息。这些开发和部署前沿系统的组织可以通过向政府、工业界和公民社会中的相关方报告安全关键信息来提高对前沿系统带来的新兴风险的可见性。有了这些信息，开发者可以在风险管理方面做出更明智的决策，而决策者则可以设计更有针对性和鲁棒性的监管基础设施。我们概述了负责任的报告的关键特征，并提出了在实践中实施这些机制的方法。

    Apr, 2024

  • 评估先进人工智能带来的社会规模风险的国际联盟

    建议建立国际负责风险评估的 AI 联盟，以监管和规范快速发展的高级人工智能系统，缓解社会规模的风险，并推动负责任的扩展政策和协调的评估风险反应。

    Oct, 2023

  • 评估危险能力的前沿模型

    通过对 Gemini 1.0 模型进行新的 “危险能力” 评估，我们在先前研究的基础上，为了了解新 AI 系统所带来的风险，必须了解它的能力和无能力。我们的评估涵盖四个方面：（1）说服和欺骗；（2）网络安全；（3）自我扩散；以及（4）自我推理。在我们评估的模型中，我们没有发现强大的危险能力的证据，但我们标记了早期的预警信号。我们的目标是推动危险能力评估的严谨科学，为未来模型做好准备。

    Mar, 2024

  • 没有法规就没有信任！

    机器学习在工业系统中的应用以及其安全性和合规性对于决策辅助等关键功能具有重要意义，然而，当前机器学习组件的低形式化程度和不确定性使得使用传统的关键系统工程方法难以验证和验证其安全性，因此需要制定适用于人工智能的规范和监管标准，提出可信的人工智能认证方法和工具。

    Sep, 2023

  • 先进人工智能模型的整体安全和责任评估

    高级 AI 模型的安全性和责任评估是研究和实践的一个关键但发展中的领域。该报告总结了 Google DeepMind 在高级 AI 模型的开发中创新并应用了一系列广泛的安全评估方法，并分享了其演变过程中的方法以及从中得出的教训。

    Apr, 2024

  • AI 安全监管市场

    提出全球性监管市场的新模型，以实现人工智能安全并应对商业无人机中人工智能模型面临的对抗攻击风险。

    Dec, 2019

  • 极端风险的模型评估

    建立通用人工智能系统的当前方法倾向于产生既有益又有害的能力，进一步的人工智能发展可能会导致极端风险的能力，本文解释了为什么模型评估对于解决极端风险至关重要，开发人员必须能够识别危险的能力（通过 “危险能力评估”）以及模型应用其能力进行伤害的倾向（通过 “对齐评估”），这些评估对于使政策制定者和其他利益相关者得到及时警告以及做出关于模型培训、部署和安全的负责任决策变得至关重要。

    May, 2023

  • 控制科学中人工智能潜在滥用的风险

    该研究旨在提高科学领域中人工智能滥用的危险，并呼吁在该领域中负责任地开发和使用人工智能。通过列举科学环境中人工智能带来的风险，并通过化学科学领域的实际滥用示例来展示这些风险，高亮显示了有效的风险管理策略的需求。为此，我们提出了一个名为 SciGuard 的系统来控制科学中人工智能模型的滥用风险，并提出了一个名为 SciMT-Safety 的红队基准来评估不同系统的安全性。我们的提议在评估中显示出最小的有害影响，并且在良性测试中不会影响性能。最后，我们强调了跨学科和合作努力来确保在科学中安全和道德地使用人工智能模型的需求。我们希望我们的研究能够激发研究人员、从业者、决策者和公众之间就科学中的人工智能的道德使用展开有建设性的讨论，以最大化利益，最小化滥用风险。

    Dec, 2023

  • 走向可规管的 AI 系统：技术差距与政策机遇

    本文探讨如何规范人工智能系统，研究发现通过两个公共部门采购清单可标识现在和未来技术创新方面的人工智能是否符合规定要求，并且确认需跨学科合作来满足某些要求。

    Jun, 2023