保护社会免受 AI 误用:何时限制 AI 能力是必要的?
滥用民用人工智能(AI)可能对国家和国际安全构成严重威胁,本文通过定义自主系统并解释 AI 开发的特点来展示已存在且公开可用的 AI 技术如何被滥用,进一步开发了三个潜在被滥用的 AI 使用案例,威胁政治、数字和实体安全,这些案例可以通过现有的学术界、私营部门和开发者社区的 AI 技术组件组合成自主武器系统,基于这些案例,我们总结了控制点和进一步措施,以防止通过滥用 AI 产生潜在威胁,并倡议在自主武器系统(AWS)讨论中考虑民用 AI 系统的滥用。
Mar, 2024
该研究旨在提高科学领域中人工智能滥用的危险,并呼吁在该领域中负责任地开发和使用人工智能。通过列举科学环境中人工智能带来的风险,并通过化学科学领域的实际滥用示例来展示这些风险,高亮显示了有效的风险管理策略的需求。为此,我们提出了一个名为 SciGuard 的系统来控制科学中人工智能模型的滥用风险,并提出了一个名为 SciMT-Safety 的红队基准来评估不同系统的安全性。我们的提议在评估中显示出最小的有害影响,并且在良性测试中不会影响性能。最后,我们强调了跨学科和合作努力来确保在科学中安全和道德地使用人工智能模型的需求。我们希望我们的研究能够激发研究人员、从业者、决策者和公众之间就科学中的人工智能的道德使用展开有建设性的讨论,以最大化利益,最小化滥用风险。
Dec, 2023
该报告调查了恶意使用 AI 的潜在安全威胁的现状,并提出了更好地预测,预防和减轻这些威胁的方法。在分析了 AI 可能如何影响数字,物理和政治领域的威胁格局之后,我们为 AI 研究人员和其他利益相关者提出了四个高层次的建议。我们还建议一些有前途的研究领域,以扩展防御手段的组合,或使攻击变得不那么有效或难以执行。最后,我们讨论了进攻者和防御者的长期平衡,但并未得出确定性结论。
Feb, 2018
通过基于塞恩和纳斯鲍姆的能力途径的框架,我们形成了一个道德概念和权益的网络,目的是让 AI 系统对利益相关者产生有意义的益处或帮助,从而提升他们推进生活计划和福祉的能力,同时维护他们的基本权利。我们表征了 AI 系统和其运作所影响的人之间道德可容许互动的两个必要条件,以及实现有意义益处理想的两个充分条件。同时,我们将这一理想与几种突出的故障模式进行对比,即构成不合理家长式主义、强制、欺骗、剥削和支配的社会互动形式。AI 在高风险领域中的事件增加凸显了这些问题的重要性,也迫使我们从一开始就采取伦理导向的方法来应对 AI 系统。
Aug, 2023
存在的管理高级人工智能系统风险的策略通常关注于影响开发什么样的人工智能系统以及它们如何扩散。然而,随着高级人工智能开发者数量的增加,这种方法变得越来越不可行,并且阻碍了有益的和有害的用例。我们呼吁采用一种补充方法:提高社会对高级人工智能的适应能力,即减少特定级别的人工智能能力扩散所带来的预期负面影响。我们引入了一个概念框架,用于识别避免、防范和纠正潜在有害的人工智能系统使用的适应性干预措施,并结合选举操纵、网络恐怖主义和人工智能决策者失控的示例进行说明。我们讨论了社会可以实施的适应人工智能的三个步骤循环。增强社会实施这一循环的能力将提高社会对高级人工智能的韧性。最后,我们为政府、行业和第三方提出具体建议。
May, 2024
本文使用分层复杂系统框架对人工智能(AI)风险进行建模,并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性,结果显示强大的 AI 代理情景有更多不确定性,对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。
Nov, 2022
介绍了计算系统杂交网络可能造成的几种潜在的伤害形式,探讨了这些潜在的伤害对不同利益相关方的影响,并提出了有效的伤害预防框架应该考虑包括计算系统特征、利益相关方和潜在伤害的广泛范围等在内的因素。
Nov, 2020
人工智能的进展引起了人们对其潜在的巨大危害的关注,本文回顾了两个有影响力的论点,即人工智能可能带来灾难性风险的问题以及人工智能单点突破(Singularity Hypothesis)的讨论,同时总结了该争论的现状。
Jan, 2024