embodied agents | BriefGPT - AI 论文速递

关键词embodied agents

搜索结果 - 73

LangSuitE：在具体文本环境中规划、控制和交互大型语言模型
通过介绍一种新的多用途无仿真测试平台 LangSuitE 以及一种新的思维链式 (schema) EmMem 来评估大型语言模型在动态交互环境中作为少样本或零样本具有实体的智能体的效果和挑战，该研究对于建立语言模型背景下的具有实体特征的普适
PDF8 days ago
从完美到嘈杂的世界模拟：用于 SLAM 鲁棒性评估的可定制的多模态干扰
我们提出了一种新颖的、可定制的噪声数据合成管道，旨在评估多模态 SLAM 模型对各种干扰的弹性，通过使用所提供的工具箱，将清洁环境转化为具有挑战性的噪声模拟。使用该管道，我们构建了大规模 Noisy-Replica 基准，并评估现有高级 R
PDF8 days ago
未知环境中的身体指令遵循
通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复
PDF15 days ago
CVPR时限内身体控制的模型适应
MoDeC 是一种时间约束感知的具体任务优化的模块化深度学习模型适应框架，评估结果表明其在机器人操控和自主驾驶应用中表现出色，优于其他模型适应方法并且能够遵守时间约束。
PDF15 days ago
3D-GRAND: 为 3D-LLMs 提供更好的定位和更少的幻觉
通过引入具有 40,087 个家庭场景和 6.2 百万个密集绑定的场景语言指令的 3D-GRAND，本文展示了对 3D-LLMs 中的指令调优在地面设置和降低幻觉方面的显著增强。另外，该文还提出了一个全面的基准测试 3D-POPE，以系统地
PDF25 days ago
LARM: 面向长期视角具身智能的大型自回归模型
为了解决大型语言模型机器人在特定行动中的限制，本论文提出了一种新的大型自回归模型（LARM），该模型利用文本和多视图图像作为输入并以自回归方式预测后续行动。通过采用自回归节点传输结构的新数据格式和对应的数据集训练 LARM，成功实现了在 M
PDFa month ago
学习如何从未标记的视频中检测和分割移动对象
我们提出了仅从未标记视频中学习的 Mobile Object Detector（MOD-UV），它可以在单张静态图像中检测和分割移动对象，并且在 Waymo Open、nuScenes 和 KITTI 数据集上实现了最先进的无监督移动对象检
PDFa month ago
从 LLMs 到行动：潜在代码作为层次机器人控制中的桥梁
我们提出了一种名为 LC (学习型潜在代码桥接) 的新方法，用于在层次控制中克服自然语言的限制，并实现端到端微调，以在需要推理和多步行为的任务中优于仅使用纯语言作为接口层的基线。
PDF2 months ago
LEGENT: 落地式代理人开放平台
通过使用 LEGENT 生成的数据，我们训练的视觉 - 语言 - 动作模型在具体任务中超越了 GPT-4V，展示了令人期待的泛化能力。
PDF2 months ago
草图 - 计划 - 泛化：语言引导机器人操作中归纳通用化空间概念的持续少样本学习
构建具有物理表征特性的神经符号方法，以逐渐学习概括性空间概念，用于创造塔的高度等任务，并在连续学习中实现在新概念上的归纳推理能力超越现有基准线。
PDF3 months ago
我们真的需要一个复杂的代理系统吗？将具体化的代理蒸馏成单一模型
STEVE-2 使用层次化知识蒸馏框架，将大型语言模型和多模态语言模型集成到开放式任务中的具身代理中，实现了复杂的任务执行以及对可执行动作的生成。STEVE-2 在导航和创作任务上的广泛评估表明，在开放式任务中，其表现优于其他方法，性能提升
PDF3 months ago
Scene-LLM: 扩展语言模型用于 3D 视觉理解和推理
介绍了 Scene-LLM，一种增强 3D 室内环境中具有交互能力的具身化智能体的 3D 视觉语言模型，通过整合大型语言模型（LLM）的推理能力。该模型采用混合的 3D 视觉特征表示方法，结合了密集的空间信息并支持场景状态更新。它采用投影层
PDF3 months ago
AAAI学习为具有情境感的内化 AI 代理生成背景微笑，在心理健康对话中应用
通过使用基于关键预测因素的注意力生成模型，我们提出在体验式代理人中引入背后微笑产生作为一种生成问题，以改善代理人建立情感联系的能力，并且通过用户研究验证，拥有背后微笑的代理人在非个人对话中被认为更加人性化且更具吸引力。
PDF5 months ago
建基于因果关系的环境模型对于具身人工智能的重要性
本研究论文探讨了给新一代具身代理建立基础世界模型的前景，并对其中的因果关系的重要性提出了新的观点，指出整合因果考虑对于实现与世界的有意义的物理交互至关重要。最后，我们澄清了这一背景下的误解并展望了未来的研究。
PDF5 months ago
ICLRHAZARD 挑战：动态环境下的体验决策制定
利用高保真虚拟环境的最新进展来建立智能化的具有知觉、推理和与物理世界交互能力的实体代理是推动力之一。我们提出了一种名为 HAZARD 的新的模拟实体评估标准，旨在评估动态情况下实体代理的决策能力。HAZARD 包括火灾、洪水和风等三个突发灾
PDF5 months ago
SceneVerse：面向基于场景的三维视觉语言学习的规模化
通过系统性地将 3D 视觉语言学习在室内环境中进行有序提升，本研究旨在解决 3D 视觉语言面临的三个主要挑战，包括复杂的 3D 场景、缺乏数据支持和缺乏统一的学习框架，并通过引入包含约 68K 个 3D 室内场景的场景语料库 SceneVe
PDF5 months ago
MapGPT: 地图引导的视觉与语言导航
本文提出了一种新型的地图引导 GPT-based 路径规划代理模型 (MapGPT)，用于零 - shot 视觉语言导航任务，通过在线构建拓扑地图转换为提示来引导全局探索，要求代理模型明确输出和更新多步路径规划以避免陷入局部探索，并在 R2
PDF6 months ago
Agent AI：多模态交互视野调查
多模态人工智能系统中，基于 Agent 的多模态智能研究，通过在真实和虚拟环境中嵌入具有感知能力的智能体，能够处理和解释视觉和语境数据，以提高智能系统的上下文感知和交互能力。
PDF6 months ago
嵌入式扫描：面向身体智能的整体多模态 3D 感知套件
在计算机视觉和机器人领域，基于自身的智能体需要能够探索环境并执行人类指令，这要求其能够从第一人称观察中完全理解 3D 场景，并将其以语言的形式进行交互。本研究引入了一种名为 EmbodiedScan 的多模式、自我中心的 3D 感知数据集和
PDF6 months ago
通过语言 - 策略双向调整构建开放式具身代理
通过合作训练预训练语言模型（LLM）和增强学习（RL）模型来构建具备理解任意人类指令能力的开放式学习智能体，该实现分为两个阶段：通过微调 LLM 将人类指令转化为结构化目标，以及通过课程训练基于目标的 RL 策略来执行任意目标；协作训练使
PDF7 months ago