Aug, 2023

人工智能的承诺与危险 -- 紫队合作为一条平衡的前进之路

PDF
TL;DR人工智能（AI）带来了巨大的好处，但也存在双重用途潜力、偏见和意外行为的风险。本文回顾了不透明且无法控制的 AI 系统的新兴问题，并提出了一个称为紫色团队合作的综合框架，以开发可靠和负责任的 AI。紫色团队合作将对抗性漏洞探测（红队）与安全解决方案（蓝队）相结合，同时优先考虑伦理和社会利益。它从 AI 安全研究中出现，通过设计来主动管理风险。本文追溯了红队、蓝队和紫色团队向紫色团队合作的演变，并讨论了应用紫色技术来解决生物技术中 AI 的生物安全风险。额外的部分回顾了跨法律、伦理、网络安全、宏观战略和行业最佳实践的关键观点，这些对通过技术和社会综合考虑使 AI 负责任的操作至关重要。紫色团队合作既提供哲学又提供方法，引导 AI 的发展方向朝向社会福祉。在有良心和智慧的指导下，人工智能的超凡能力可以丰富人类。但是，如果没有足够的预防措施，风险可能是灾难性的。紫色团队合作旨在为共同福利赋予道德技术的力量。
发现论文，激发创造
  • 保障海上自治系统中人工智能的红队框架

    通过使用一种多部分检查表的框架，我们展示了如何高效地评估海上自主系统的人工智能安全，并揭示其中的多个漏洞，从中毒到对抗性补丁攻击。通过系统化的人工智能红队行动，我们可以防止与提高对使命关键人工智能的接受和依赖性相应的严重事件。

    Dec, 2023

  • 生成 AI 的红队测试：是银弹还是安全娱乐？

    通过对 AI 工业界最近的红队活动案例和相关研究文献的调查，我们发现先前的 AI 红队方法和实践在多个方面存在差异，包括活动目的、评估对象、实施方式和所得出的决策。鉴于我们的发现，我们认为虽然红队可能是一个有价值的广义概念，用于描述一系列旨在改善 Generative AI 模型行为的活动和态度，但宣称红队是解决一切可能风险的万灵药则属于安全戏剧。为了更好地评估生成 AI，我们将我们的建议综合成一个问题库，旨在指导和规范未来的 AI 红队实践。

    Jan, 2024

  • 人工智能潜力与认知：从人工智能与网络安全合作的视角发表的一篇立场文件

    人工智能在网络安全领域的潜力以及人工智能与人类合作的风险因素、伦理和法律问题等方面进行了深入探讨，强调了将人类专家的专业知识与人工智能的计算能力相结合以改善网络防御的重要性。

    Sep, 2023

  • AI 评估与红队行动的安全港湾

    对生成式人工智能系统进行独立评估和红队测试对于识别风险至关重要，但主要人工智能公司用于阻止模型滥用的服务条款和执法策略对善意安全评估存在不利因素，因此一些研究人员担心进行此类研究或公开发现将导致账户暂停或法律报复。我们提议重要人工智能开发者承诺提供法律和技术的 “安全港”，为公共利益的安全研究提供保障，免于账户暂停或法律报复的威胁。我们相信这些承诺是朝着更具包容性和顺畅的社区合作努力，解决生成式人工智能的风险问题所需的必要步骤。

    Mar, 2024

  • CTI4AI：基于红队测试 AI 模型的威胁情报生成和分享

    本文介绍了 CTI4AI 系统 —— 用于识别和分享人工智能及机器学习特别脆弱性和威胁情报的原型系统。

    Aug, 2022

  • 航天控制中人工智能团队合作的安全性、信任性和伦理考虑

    设计一个安全、可信和道德的人工智能可能是实际上不可能的；然而，在考虑安全、可信和道德使用的前提下设计人工智能是可能的，也是在航空航天等安全和关键任务领域中必要的。这篇论文作为入门指南，阐明了这些概念之间微妙的差异，并重点关注人工智能与人类团队在航空航天系统控制中的应用，其中人类可能参与决策过程或不参与。

    Nov, 2023

  • 红队测试生成式 AI/NLP、BB84 量子密码协议和 NIST 认可的抗量子密码算法

    在当代数字化时代，量子计算与人工智能的融合正在重塑网络景观，带来前所未有的机遇和潜在的漏洞。本研究，历时五年，深入探讨了这种融合的网络安全影响，特别关注人工智能 / 自然语言处理模型和量子密码协议，尤其是 BB84 方法和特定 NIST 批准的算法。研究利用 Python 和 C ++ 作为主要计算工具，采用 “红队” 方法进行，模拟潜在的网络攻击，评估量子安全措施的稳健性。初步研究历时 12 个月，为本研究奠定了基础，旨在将理论见解转化为可操作的、现实世界的网络安全解决方案。本研究位于牛津大学科技园区，拥有先进的基础设施和丰富的协作环境。研究的总体目标是确保在数字世界过渡到量子增强运营时，能够抵御人工智能驱动的网络威胁。通过迭代测试、反馈整合和持续改进，研究的目标是促进更安全、量子准备的数字未来。研究结果旨在广泛传播，确保学术界和全球社区从中受益，强调负责任和安全地利用量子技术。

    Sep, 2023

  • 设计值得信赖的人工智能：人机协作框架指导开发

    本文介绍了基于 Human-Machine Teaming（HMT）框架的技术道德规范，用于设计可靠、可用、安全、明晰、负责的人工智能系统，并提供了一些支持团队的主题和活动，如可用性测试，以帮助开发团队在创建 AI 系统时提前发现问题并确保用户信任。

    Oct, 2019

  • 探讨高水平人工智能的差异化风险和控制问题

    本文使用分层复杂系统框架对人工智能（AI）风险进行建模，并从公共和私营领域的领域专家收集调查数据以分类 AI 影响和可能性，结果显示强大的 AI 代理情景有更多不确定性，对 AI 对齐失败和影响寻求行为的关注增加以及对多智能体环境的信心增强。

    Nov, 2022

  • 对抗机器学习与网络安全：风险、挑战和法律影响

    这篇报告探讨了人工智能系统漏洞的相关议题，并提出了相关的建议，包括信息分享、法律监管和政府支持等方面。

    May, 2023