Feb, 2024
大型语言模型（LLM）在城市环境中的导航安全性如何？
How Secure Are Large Language Models (LLMs) for Navigation in Urban
Environments?
TL;DR近期在机器人和自动化领域中，基于大型语言模型的导航系统显示出了强大的性能，然而，这些系统的安全性方面却受到相对较少的关注。本文首次探索了城市室外环境中基于大型语言模型的导航模型的漏洞，这是一个关键领域，因为这项技术在自动驾驶、物流和紧急服务中得到了广泛应用。具体而言，我们引入了一种新颖的导航提示后缀攻击方法，通过给原始导航提示附加梯度派生的后缀来操纵基于大型语言模型的导航模型，导致错误的动作。我们对一种采用各种大型语言模型进行推理的基于大型语言模型的导航模型进行了全面的实验。我们的实验结果来自Touchdown和Map2Seq街景数据集，在少样本学习和微调配置下，面对白盒和黑盒攻击，我们观察到三个指标在性能上出现显著下降。这些结果突出了导航提示后缀攻击的普遍性和可迁移性，强调了在基于大型语言模型的导航系统中增强安全性的必要性。作为一种初始的对策，我们提出了导航提示工程（NPE）防御策略，该策略专注于减少对导航相关关键词的不良后缀的影响，虽然初步结果表明该策略增强了导航安全性，但学术界仍然急需开发更强大的防御方法来有效应对这些系统面临的现实挑战。