Jun, 2024

AI 代理面临威胁：主要安全挑战与未来发展路径调查

PDF
TL;DR通过系统地审查人工智能代理所面临的安全威胁，本文突出了在保护人工智能代理方面所取得的进展和现有的限制，并旨在激发进一步研究以解决与人工智能代理相关的安全威胁，从而促进更加稳固和安全的人工智能代理应用程序的发展。
artificial intelligenceai agentssecurity threatsknowledge gapssafeguarding
发现论文，激发创造
  • AI 代理的安全性

    通过研究典型 AI 代理的工作流程和体验，我们从系统安全的角度详细描述了 AI 代理中存在的潜在漏洞，强调了其原因和严重影响，并介绍了相应的防御机制及其有效性评估实验，从而让 AI 代理的安全性和可靠性得到进一步提升。

    Jun, 2024

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 人工智能机器人的安全考虑：当前方法、挑战和机会的调查

    本文针对 AI - 机器人系统中的安全问题进行了综合调查和分类，考虑了攻击面、伦理和法律问题以及人机交互安全等领域，旨在提供对这些领域的整体理解以增强 AI - 机器人系统的安全性。

    Oct, 2023

  • 人工智能在网络安全中的应用：威胁、攻击和缓解

    讨论了网络安全、网络威胁以及传统和智能防御措施，并最终以人工智能在网络安全领域未来的前景作为讨论的结尾。

    Sep, 2022

  • 普适机器人系统的 AI 安全威胁：下一代网络安全人才的课程

    物理机器人近距离工作，科技安全的威胁引起人们担忧。现今缺少专业人士来保护这些系统，因此需要相应的课程来开发和集成。该课程包括七个自包含的模块，旨在对普及的机器人系统进行人工智能安全威胁防御与训练。

    Feb, 2023

  • 人工智能的系统挑战：伯克利视角

    该论文探讨了人工智能的发展带来的挑战，提出了在系统、架构和安全方面的研究方向，以解决 AI 技术存储和处理数据量的限制，并提高数据隐私保护，以便这一技术能够更好地改善人们的生活和社会。

    Dec, 2017

  • AI 代理的层次：从规则到大型语言模型

    AI agents are categorized based on utilities and strongness, inspired by the levels of autonomous driving, with L5 including personality, emotion, character, and collaborative behavior with multi-agents.

    Mar, 2024

  • 意图一致的 AI 系统削弱人类代理能力：AI 安全需要代理基础研究

    为了确保人工智能系统的安全性和长期代理的保留，应该将人工智能系统设计为优先考虑代理的保留而不是人类意图的一致性，并且应该在 “代理基础” 领域进行研究，以改进我们对人工智能与人类交互中代理的理解。

    May, 2023

  • 低影响力机构：评估与讨论

    本研究主要研究人工智能的低影响性，以避免其在追求目标时对世界造成巨大冲击，提出了以前的建议和未来的研究方向，并旨在确保低影响性在实现 AI 安全方面的实用性。

    Mar, 2023

  • 生成模型安全性：挑战与对策

    探讨生成式人工智能所带来的独特安全挑战，并提出了管理这些风险的潜在研究方向。

    Feb, 2024