自然与机器
探讨人工智能对社会政治和人类作为一个整体的影响,提出存在某些已记录的 AI 影响可以成为存在风险因素,强调 AI 对权力动态和信息安全的影响,揭示了 AI 系统对不存在假设未来 AI 能力的存在风险的因果路径。
Sep, 2022
人工智能的进展引起了人们对其潜在的巨大危害的关注,本文回顾了两个有影响力的论点,即人工智能可能带来灾难性风险的问题以及人工智能单点突破(Singularity Hypothesis)的讨论,同时总结了该争论的现状。
Jan, 2024
本研究调查了与人工智能相关的潜在危险引起怀疑的问题,并将它与其他科学领域中出现的怀疑形式进行比较,通过针对其中蕴含的错误思考类型进行分类,旨在更好地理解我们现有的异议并寻找令人满意的解决方式。
Feb, 2023
人工通用智能(AGI)尚不存在,但鉴于人工智能技术发展的速度,预计在未来大约二十年内将达到人类水平的智能水平。之后,许多专家预计它将远远超过人类智能,并且迅速超过。超级智能 AGI 的前景对人类构成了存亡风险,因为目前没有可靠的方法来确保 AGI 的目标与人类目标保持一致。作者借鉴公开可用的预测者和观点数据,考察专家和非专家对 AGI 风险的感知。研究结果表明,与其他存在风险相比,人们对 AGI 造成的世界灾难或灭绝的感知风险更大。与其他存在威胁相比,AGI 的感知风险在过去一年中增加的速度也更快(例如核战争或人为引起的气候变化)。专家和非专家一致认为 AGI 是一种紧迫的存亡风险,但目前对于这种共识的基础仍然不清楚。
Nov, 2023
本文使用分层复杂系统框架对人工智能(AI)风险进行建模,并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性,结果显示强大的 AI 代理情景有更多不确定性,对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。
Nov, 2022
通过介绍 AI 的 prepotence 特性,分析 AI 在未来可能存在的 existential risks,并通过技术研究指导原则,提出潜在的研究方向,以促进 existential safety 的保障。
May, 2020
通过研究先进的人工智能系统,我们指出了即将到来的风险,包括大规模社会伤害和恶意使用,以及人类对自主人工智能系统失去控制的不可逆性。鉴于人工智能的迅速发展,我们提出了人工智能研发和治理的优先事项。
Oct, 2023
该研究旨在提高科学领域中人工智能滥用的危险,并呼吁在该领域中负责任地开发和使用人工智能。通过列举科学环境中人工智能带来的风险,并通过化学科学领域的实际滥用示例来展示这些风险,高亮显示了有效的风险管理策略的需求。为此,我们提出了一个名为 SciGuard 的系统来控制科学中人工智能模型的滥用风险,并提出了一个名为 SciMT-Safety 的红队基准来评估不同系统的安全性。我们的提议在评估中显示出最小的有害影响,并且在良性测试中不会影响性能。最后,我们强调了跨学科和合作努力来确保在科学中安全和道德地使用人工智能模型的需求。我们希望我们的研究能够激发研究人员、从业者、决策者和公众之间就科学中的人工智能的道德使用展开有建设性的讨论,以最大化利益,最小化滥用风险。
Dec, 2023