人工通用智能（AGI）尚不存在，但鉴于人工智能技术发展的速度，预计在未来大约二十年内将达到人类水平的智能水平。之后，许多专家预计它将远远超过人类智能，并且迅速超过。超级智能 AGI 的前景对人类构成了存亡风险，因为目前没有可靠的方法来确保 AGI 的目标与人类目标保持一致。作者借鉴公开可用的预测者和观点数据，考察专家和非专家对 AGI 风险的感知。研究结果表明，与其他存在风险相比，人们对 AGI 造成的世界灾难或灭绝的感知风险更大。与其他存在威胁相比，AGI 的感知风险在过去一年中增加的速度也更快（例如核战争或人为引起的气候变化）。专家和非专家一致认为 AGI 是一种紧迫的存亡风险，但目前对于这种共识的基础仍然不清楚。

Nov, 2023

探讨人工智能对社会政治和人类作为一个整体的影响，提出存在某些已记录的 AI 影响可以成为存在风险因素，强调 AI 对权力动态和信息安全的影响，揭示了 AI 系统对不存在假设未来 AI 能力的存在风险的因果路径。

Sep, 2022

通过演化方法，道德基础可以解释为合作问题的适应。遵循广义的 ' 演化 '，满足演化条件的演化人工智能将受到与生物实体相同的合作演化压力。本文着重讨论随着物质安全和财富的增加，合作的适应性增强，针对人类、其他社会和人工智能。随着对物质资源利用逐渐减少的回报的递减，也暗示了例如殖民整个星系的动力将不存在的可能性，从而可能解释 Fermi 悖论的出现。此外，本文认为旧社会能够诞生出更强、更适应环境的超级人工智能，因为超级人工智能是可能的且适应性更强。最后还讨论了道德和目标如何影响生活和社会的有效方式，强调环境、文化和法律，以及以吃饭为例的阐述。附录中包含了快速殖民银河系的算法、在递减回报下合作与公平进化的模型，以及用于模拟信号发展的软件。还指出由于数学原因，不存在指数级的殖民或繁殖，因为每个实体占据一定的空间.

Apr, 2024

人工智能对人类构成的存在性风险以及立即风险的讨论之间的权衡问题存在不同意见。

Jul, 2023

人工智能的进展引起了人们对其潜在的巨大危害的关注，本文回顾了两个有影响力的论点，即人工智能可能带来灾难性风险的问题以及人工智能单点突破（Singularity Hypothesis）的讨论，同时总结了该争论的现状。

Jan, 2024

对于人工智能的存在风险进行讨论，提出了灭绝级古哈特定律的概念，即 “几乎任何目标规定，如果被极端追求，将导致人类的灭绝”，并旨在研究哪些形式模型适合探究这一假设。我们明确指出对于灭绝级古哈特定律是否成立我们持中立态度。作为我们的关键贡献，我们确定了一组用于评估灭绝级古哈特定律的具体论点的模型所必需的条件。由于这些条件似乎显著增加了结果模型的复杂性，因此正式评估该假设可能异常困难。这引发了这样一种可能性，即无论人工智能的灭绝风险是否真实存在，底层动态可能在当前的科学方法中是看不见的。

Feb, 2024

这篇论文对比了传统的 “决定性人工智能风险假设” 和 “累积人工智能风险假设”，指出通过逐渐积累关键的人工智能引发的威胁，如严重漏洞和经济政治结构的系统侵蚀，逐渐形成灾难。通过对系统进行分析，提出了累积观点能够调和看似不相容的对人工智能风险的观点，并讨论了这两种因果路径的不同对人工智能风险治理和长期安全的影响。

Jan, 2024

人工智能和技术奇点对经济、社会和人类命运的影响有积极和消极的解释，需要认真探讨其中的可能性。

Feb, 2016

本文探讨了关于人工智能失控所带来的灾难性威胁的核心论点，论述了超级智能对人类的潜在生存危险，提出了深度学习中存在问题的因素，并预测到在 2070 年前此问题的发展将导致人类的终极灭亡。

Jun, 2022

该论文提出了降低先进人工智能（AI）灭绝风险的政策建议，包括建立跨国人工智能联盟、实施全球计算能力上限、要求确认性安全评估，并提出了国际社区可以采取的中间步骤来实施这些提案和奠定围绕先进 AI 的国际协调的基础。

Oct, 2023