Mar, 2024

可用 AI 的滥用的技术视角

PDF
TL;DR滥用民用人工智能（AI）可能对国家和国际安全构成严重威胁，本文通过定义自主系统并解释 AI 开发的特点来展示已存在且公开可用的 AI 技术如何被滥用，进一步开发了三个潜在被滥用的 AI 使用案例，威胁政治、数字和实体安全，这些案例可以通过现有的学术界、私营部门和开发者社区的 AI 技术组件组合成自主武器系统，基于这些案例，我们总结了控制点和进一步措施，以防止通过滥用 AI 产生潜在威胁，并倡议在自主武器系统（AWS）讨论中考虑民用 AI 系统的滥用。
malicious misusecivilian artificial intelligencesecurity threatsautonomous weapon systemspreventing potential threat
发现论文，激发创造
  • 保护社会免受 AI 误用：何时限制 AI 能力是必要的？

    人工智能（AI）系统将越来越常被用于造成伤害，为了防止对 AI 的一些错误使用，本文提出了一种减少 AI 误用的干预分类法，重点在于对于误用所需的特定步骤（误用链）进行干预以及确定是否需要此干预。

    Mar, 2023

  • 人工智能的恶意使用：预测、预防和缓解

    该报告调查了恶意使用 AI 的潜在安全威胁的现状，并提出了更好地预测，预防和减轻这些威胁的方法。在分析了 AI 可能如何影响数字，物理和政治领域的威胁格局之后，我们为 AI 研究人员和其他利益相关者提出了四个高层次的建议。我们还建议一些有前途的研究领域，以扩展防御手段的组合，或使攻击变得不那么有效或难以执行。最后，我们讨论了进攻者和防御者的长期平衡，但并未得出确定性结论。

    Feb, 2018

  • 控制科学中人工智能潜在滥用的风险

    该研究旨在提高科学领域中人工智能滥用的危险，并呼吁在该领域中负责任地开发和使用人工智能。通过列举科学环境中人工智能带来的风险，并通过化学科学领域的实际滥用示例来展示这些风险，高亮显示了有效的风险管理策略的需求。为此，我们提出了一个名为 SciGuard 的系统来控制科学中人工智能模型的滥用风险，并提出了一个名为 SciMT-Safety 的红队基准来评估不同系统的安全性。我们的提议在评估中显示出最小的有害影响，并且在良性测试中不会影响性能。最后，我们强调了跨学科和合作努力来确保在科学中安全和道德地使用人工智能模型的需求。我们希望我们的研究能够激发研究人员、从业者、决策者和公众之间就科学中的人工智能的道德使用展开有建设性的讨论，以最大化利益，最小化滥用风险。

    Dec, 2023

  • AI 驱动的自主武器威胁地缘政治不稳定并危及 AI 研究

    利用机器学习（ML）发展自主武器系统（AWS）对地缘政治稳定性和 AI 研究中的自由交流构成了严重风险。本文的目标是提醒公众和机器学习研究人员对军事技术中全面或近乎全面自主性带来的近期风险，并提出监管建议以减轻这些风险。

    May, 2024

  • 生成人工智能滥用方法分类及来自实际数据的洞见

    通过对现有学术文献和大约 200 起滥用报告事件的定性分析，我们提出了一种基于深度学习和多模态人工智能的滥用策略分类方法，并揭示了滥用的关键模式、潜在动机和攻击者如何利用系统能力的方式。

    Jun, 2024

  • 人工智能灾难风险概述

    本文系统地讨论了人工智能可能面临的灾难性风险，将其分为恶意使用、AI 竞赛、组织风险和流氓 AI 等四类，并提出了实用建议以减轻这些风险。

    Jun, 2023

  • 人工智能与武器控制

    该研究论文分析成功与失败的武器管制案例，提出武器的军事价值与可能性是影响管理控制成功的关键因素，本文探讨了未来 AI 武器管制的前景，并提出了政策建议。

    Oct, 2022

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 商业人工智能、冲突与道德责任：对双用途人工智能技术的道德责任的理论分析和实践方法

    人工智能系统的伦理责任是对其可能用于冲突应用的非军事应用进行理论分析和实践方法的介绍，包括通过建立多视角能力测试、集成数字水印和利用监测与报告机制来减轻开发者的道德责任。

    Jan, 2024

  • 人工智能在网络安全中的应用：威胁、攻击和缓解

    讨论了网络安全、网络威胁以及传统和智能防御措施，并最终以人工智能在网络安全领域未来的前景作为讨论的结尾。

    Sep, 2022