通过使用大型语言模型，我们提出了一种从指导视频中的动作信息中提取物体状态信息的方法，并使用所生成的伪标签对模型进行训练，从而明确从动作中提取出物体状态信息的有效性。

May, 2024

在这项研究中，我们将物体搜索问题视为部分可观察的马尔可夫决策过程（POMDP），其中物体检测器和观察模型中的视觉传感器噪声由基于复杂语言描述的单个深度神经网络确定。通过我们的语言条件观察模型（LCOM），任何物体的语言描述都可以用来生成适当的物体检测器和噪声模型，并且训练 LCOM 仅需要现成的监督图像字幕数据集。我们在模拟环境中与最先进的物体搜索算法进行了实证评估，并证明使用我们的观察模型进行规划可以显著提高平均任务完成率（从 0.46 提高到 0.66），并且比使用固定噪声模型的方法更高效快速地进行物体搜索。我们将该方法应用于 Boston Dynamics Spot 机器人上，在房间范围内处理复杂的自然语言物体描述，并有效地找到物体。

Sep, 2023

通过介绍 Object State Captioning and State Change Representation (OSCaR) 数据集和基准测试，本文旨在解决智能模型在理解和推测物体状态变化方面的挑战，提出了一种新的评估多模态大型语言模型 (MLLMs) 的方法，并表明现有的模型在理解这些变化方面仍需要进一步改进。

Feb, 2024

使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

Dec, 2023

利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

Mar, 2024

提出了解决图像和视频中物体状态变化的问题的第一种方法，通过集成学习的视觉特征和自然语言特征来预测未来可能发生的物体状态变化，从而增强视频理解系统的预测性能。

May, 2024

本研究探讨了大型语言模型（LLM）在通过语义嵌入生成和提供领域特定信息方面的潜力，并在基于视觉的零样本目标状态分类任务中将 LLM 整合到一种流程中。研究结果表明，使用 LLM 嵌入与通用预训练嵌入相结合，可以显著提高性能，并通过与竞争模型的比较分析展示了所提出方法所达到的最新性能。

Mar, 2024

本文提出了一种整合环境对象和对象关系作为额外输入的方法，从而产生与场景中的对象相映射的行动计划，并设计了一种新的评分函数，该方法在 VirtualHome 模拟器和 ActivityPrograms 知识库中取得了可靠的结果，其行动计划的正确性和可执行性分别优于之前的研究约 5.3％和 8.9％。

Oct, 2022

该研究揭示了预训练大型语言模型在机器人领域中有效消除对象歧义和导航决策挑战方面的能力，特别是在与部分可观测马尔可夫决策过程（POMDPs）进行模拟的复杂决策挑战中。通过将大型语言模型整合到桌面环境消除歧义任务中，我们采用了少样本提示工程系统来提高模型的询问能力，使其能够成功生成和导航到正确的对象。

Jan, 2024

通过集成视觉编码器与 Mamba 模型，RoboMamba 同时提供了机器人推理和动作能力，并且在模型的微调和推断过程中保持了高效的计算速度。

Jun, 2024