Nov, 2023

具身导航的 LLM 发展

PDF
TL;DR近年来，大型语言模型（LLMs）如生成预训练变换器（GPT）的快速进展引起了越来越多的关注，由于它们在各种实际应用中的潜力。LLMs 与具身智能的应用已成为一个重要的研究领域，其中导航任务尤为引人注目，因为它们需要对环境有深刻的理解和快速准确的决策能力。本文全面总结了 LLMs 与具身智能之间的共生关系，重点关注导航领域。它回顾了最先进的模型、研究方法，并评估了现有具身导航模型和数据集的优缺点。最后，根据当前研究，阐明了 LLMs 在具身智能中的作用，并预测了未来的研究方向。本调查的研究清单可在此 https URL 上找到。
large language modelsgenerative pre-trained transformerembodied intelligencenavigation taskssymbiosis
发现论文，激发创造
  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 大规模语言模型在机器人学中的应用：一项调查

    理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

    Nov, 2023

  • 走向学习通用模型的行动导航

    利用基于模式的指令将 LLMs 整合到具有身体导航功能的第一个通用模型 NaviLLM 中，该模型在各种任务中取得了最新的成果，并在 CVDN、SOON 和 ScanQA 上的性能达到了最新发展水平。

    Dec, 2023

  • NavGPT: 基于大语言模型的视觉语言导航的明确推理

    本篇论文中，我们使用大语言模型（LLMs）为基础，介绍了一款纯 LLMs 导航代理 NavGPT，通过对视觉和语言导航（VLN）进行零样本顺序动作预测，揭示了 GPT 模型在复杂体验场景中的推理能力，以及它在导航中的应用，通过全面的实验，展示了 NavGPT 可以分解指令成子目标、对与导航任务相关的常识知识进行集成以及适应特殊情况等高级规划能力。

    May, 2023

  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • 从文本到转型：大型语言模型多功能性的全面评述

    这项开创性的研究探讨了大型语言模型（LLMs）如生成式预训练变换器（GPT）和双向编码器表示来自变换器（BERT）在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理（NLP）方面已经展现出卓越的能力，但这些 LLMs 在健身、整体福祉、城市规划、气候建模以及灾害管理等领域尚未得到系统性的研究，本综述除了提供对 LLMs 在不同领域的广泛应用进行全面分析外，还揭示了 LLMs 潜力尚未被利用的研究空白和领域。这项研究发现了 LLMs 在健身福祉、城市规划、气候建模和灾害响应等领域留下印记的创新方式，可以激发未来在这些领域的研究和应用。

    Feb, 2024

  • 大型语言模型（LLM）在城市环境中的导航安全性如何？

    近期在机器人和自动化领域中，基于大型语言模型的导航系统显示出了强大的性能，然而，这些系统的安全性方面却受到相对较少的关注。本文首次探索了城市室外环境中基于大型语言模型的导航模型的漏洞，这是一个关键领域，因为这项技术在自动驾驶、物流和紧急服务中得到了广泛应用。具体而言，我们引入了一种新颖的导航提示后缀攻击方法，通过给原始导航提示附加梯度派生的后缀来操纵基于大型语言模型的导航模型，导致错误的动作。我们对一种采用各种大型语言模型进行推理的基于大型语言模型的导航模型进行了全面的实验。我们的实验结果来自 Touchdown 和 Map2Seq 街景数据集，在少样本学习和微调配置下，面对白盒和黑盒攻击，我们观察到三个指标在性能上出现显著下降。这些结果突出了导航提示后缀攻击的普遍性和可迁移性，强调了在基于大型语言模型的导航系统中增强安全性的必要性。作为一种初始的对策，我们提出了导航提示工程（NPE）防御策略，该策略专注于减少对导航相关关键词的不良后缀的影响，虽然初步结果表明该策略增强了导航安全性，但学术界仍然急需开发更强大的防御方法来有效应对这些系统面临的现实挑战。

    Feb, 2024

  • 通过多模态大型语言模型实现端到端的具身决策: GPT4-Vision 及其后续探索

    通过 PCA-EVAL 基准和 HOLMES 多智能体协作框架的比较，我们发现 GPT4-Vision 模型在端到端的具体决策制定能力方面表现出色，平均决策准确率比 GPT4-HOLMES 高出 3%，但这种性能仅适用于最新的 GPT4-Vision 模型，超过开源最先进的多模态大型语言模型的 26%。我们的结果表明，像 GPT4-Vision 这样功能强大的多模态大型语言模型对具体决策有很大的潜力，为多模态大型语言模型研究开辟了新的途径。

    Oct, 2023

  • ChatGPT 备选方案：大型语言模型调查

    通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023