AI 代理的安全性
通过系统地审查人工智能代理所面临的安全威胁，本文突出了在保护人工智能代理方面所取得的进展和现有的限制，并旨在激发进一步研究以解决与人工智能代理相关的安全威胁，从而促进更加稳固和安全的人工智能代理应用程序的发展。
Jun, 2024
本文针对 AI - 机器人系统中的安全问题进行了综合调查和分类，考虑了攻击面、伦理和法律问题以及人机交互安全等领域，旨在提供对这些领域的整体理解以增强 AI - 机器人系统的安全性。
Oct, 2023
通过全面考察科学领域的基于大语言模型的智能 Agent 的漏洞，找出潜在的风险、强调对安全措施的需求，以及提出人工监管、Agent 对齐、环境反馈三元框架来缓解风险，还强调了目前保护科学 Agent 的限制和挑战，并呼吁针对这些问题制定改进模型、鲁棒基准和全面规定。
Feb, 2024
本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。
Nov, 2022
本文讨论机器学习中的安全和安保问题，主要涉及神经网络分类、视觉应用和预测性维护等领域，指出了其中存在的安全和安保漏洞，为推广该技术提供了风险评估的方法。
Jul, 2022
最近的研究发现了人工智能安全领域研究与实践之间存在的差距：学术界研究的威胁并不总是反映了人工智能的实际使用和安全风险。我们的研究是为了描述这种差异的完整程度，并将六种最常研究的人工智能安全攻击威胁模型与实际使用中的人工智能进行匹配。我们发现所有的现有威胁模型确实是适用的，但也存在重大差异：研究常常太宽容于攻击者，并假设实际环境中很少可用的信息。因此，我们的论文呼吁在人工智能安全领域研究更多实用的威胁模型。
Nov, 2023
研究文献中广泛探讨了对 AI 代理的信任问题，随着大型语言模型和基于此模型的 AI 代理框架的快速发展，面临着新的挑战和研究机会。本文研究了新一代基于 AI 的代理在流程自动化领域崛起的新挑战和机遇，分析了现有文献中讨论的 AI 代理信任的主要方面，并确定了与这一新代理代际相关的具体考虑和挑战。同时，我们评估了该类别中新产品如何解决这些考虑因素，并强调研究界应在这一不断演变的领域中解决的几个挑战。
Aug, 2023
本文介绍了 AI 安全与对抗攻击的概念，探讨了机器学习产品的威胁和 AI 产品开发中常见的陷阱，适用于 AI 软件产品的开发人员、设计师、管理者和研究人员。
Apr, 2023
过去十年中，对抗攻击算法揭示了深度学习工具的不稳定性，这些算法引发了与人工智能中的安全性、可靠性和可解释性相关的问题，尤其是在高风险环境中。从实际角度来看，攻击和防御策略开发者之间发生了一场升级战。在更理论层面上，研究人员还研究了关于攻击的存在和可计算性的更大问题。在这篇文章中，我们对该主题进行了简要概述，重点关注对应用和计算数学领域的研究人员可能感兴趣的方面。
Aug, 2023