关于针对集成大型语言模型的移动机器人系统的提示注入攻击研究
本研究讨论了如何通过注入恶意提示，以及从Web中检索出的包含有害预置提示的内容来对集成应用程序的大型语言模型(LLMs)进行Prompt Injection攻击。研究表明，这种攻击是实际可行的，需要加强技术进行缓解。
Feb, 2023
理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。
Nov, 2023
该研究全面概述了大型语言模型（LLMs）和多模态LLMs在各种机器人任务中的整合，并提出了一种利用多模态GPT-4V结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明GPT-4V有效地提升了机器人在具身任务中的表现。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLMs为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。
Jan, 2024
大语言模型中快速注入攻击的关键挑战以及引起人工智能领域日益关注。传统的防御策略不够有效，本文提出了一种新颖的解决方案——“签名提示”。该方法通过将敏感指令签名并由授权用户使用，使得语言模型可以辨别可信指令来源。本文详细介绍了快速注入攻击模式的分析，并通过提示工程和语言模型的微调来实现“签名提示”概念的基本框架和实现。实验证明了“签名提示”方法的有效性，对各种类型的快速注入攻击具有相当的抵抗能力，从而验证了其作为一种强大的人工智能安全防御策略的潜力。
Jan, 2024
大语言模型和AI聊天机器人在使人工智能民主化方面处于前沿。然而，发布ChatGPT和其他类似工具后，人们越来越担心难以控制大语言模型及其输出的问题。目前，我们正目睹用户试图滥用这些模型而开展的一场猫鼠大战，新出现了一种名为提示注入的攻击方式。相反，开发人员试图同时发现这些漏洞并阻止攻击。在本文中，我们概述了这些新出现的威胁，并提供提示注入的分类，以指导未来有关提示注入的研究，并作为在LLM接口开发中漏洞检查清单。此外，基于先前的文献和我们自己的实证研究，我们还讨论了提示注入对LLM终端用户、开发人员和研究人员的影响。
Jan, 2024
近期在机器人和自动化领域中，基于大型语言模型的导航系统显示出了强大的性能，然而，这些系统的安全性方面却受到相对较少的关注。本文首次探索了城市室外环境中基于大型语言模型的导航模型的漏洞，这是一个关键领域，因为这项技术在自动驾驶、物流和紧急服务中得到了广泛应用。具体而言，我们引入了一种新颖的导航提示后缀攻击方法，通过给原始导航提示附加梯度派生的后缀来操纵基于大型语言模型的导航模型，导致错误的动作。我们对一种采用各种大型语言模型进行推理的基于大型语言模型的导航模型进行了全面的实验。我们的实验结果来自Touchdown和Map2Seq街景数据集，在少样本学习和微调配置下，面对白盒和黑盒攻击，我们观察到三个指标在性能上出现显著下降。这些结果突出了导航提示后缀攻击的普遍性和可迁移性，强调了在基于大型语言模型的导航系统中增强安全性的必要性。作为一种初始的对策，我们提出了导航提示工程（NPE）防御策略，该策略专注于减少对导航相关关键词的不良后缀的影响，虽然初步结果表明该策略增强了导航安全性，但学术界仍然急需开发更强大的防御方法来有效应对这些系统面临的现实挑战。
Feb, 2024
通过检查最近在大型语言模型（LLMs）和视觉语言模型（VLMs）与机器人技术交叉领域的工作，我们展示了将大型语言模型和视觉语言模型整合到机器人应用中所涉及的稳健性和安全性的关键问题。我们定义并提供了几种可能的对抗性攻击的例子，并在三个重要的机器人框架上进行了实验，这些机器人框架集成了一个语言模型，包括KnowNo VIMA和Instruct2Act，以评估它们对这些攻击的易感性。我们的实证研究结果显示出LLM/VLM-robot集成系统的一个显著的脆弱性：简单的对抗性攻击可以显著削弱LLM/VLM-robot集成系统的有效性。特别是，在提示性攻击下，我们的数据显示出了平均性能下降21.2％，而在感知攻击下更为严重，达到30.2％。这些结果强调了确保部署先进的LLM/VLM基础机器人系统的安全性和可靠性的关键需求。
Feb, 2024
大型语言模型是各种人工智能应用中的关键组件，理解它们的安全漏洞和防御机制的有效性至关重要。本文调查了LLMs的安全挑战，重点关注两个主要领域：Prompt Hacking和Adversarial Attacks，每个领域都有特定类型的威胁。通过对Prompt Hacking和Adversarial Attacks的分析，研究了它们的工作原理、潜在影响以及缓解方法。调查强调了这些安全挑战，并讨论了保护LLMs免受这些威胁的强大防御框架。通过详细阐述这些安全问题，调查为抵御复杂攻击的坚韧人工智能系统的构建提供了宝贵的讨论。
Jun, 2024
本研究解决了具身AI系统中移动机器人在导航任务中面临的安全管理挑战，尤其是对恶意指令的脆弱性。提出的SafeEmbodAI框架通过安全提示、状态管理和安全验证机制，显著提升了机器人对复杂语言指令的理解和多模态数据的推理能力。实验结果显示，该框架在复杂环境中相较于基线在攻击场景下的表现提升了267%，确保了具身AI系统的安全性。
Sep, 2024