本文介绍了 Chat-3D，它通过将预训练的 3D 表示与先进的 LLM 的推理和对话能力相结合，实现了首个用于 3D 场景的通用对话系统。 Chat-3D 能够感知 3D 世界，具备理解各种 3D 场景指令、进行复杂的空间推理并将外部知识融入其响应的能力。在构建的指令数据集上，Chat-3D 相对于 GPT-4 获得了相对得分 75.6%。

Aug, 2023

本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

Mar, 2023

提出和评估一种新颖的方法，在不依赖任何存储数据或预训练的情况下，在 LLM 代理之间进行知识蒸馏，以实时保留人类角色扮演中的独特语境，并评估我们的系统在模拟的真实世界任务中表现更好。

Mar, 2024

本文介绍了一种基于聊天式对话系统的图像检索方法，使用大型语言模型生成对用户问题的跟进问题，在对用户的意图进行澄清后，从一个较大的图像库中检索目标图像，并在多次对话中显著提高了图像检索成功率。

May, 2023

PoseGPT 是一个框架，利用大型语言模型（LLMs）从图像或文本描述中理解和推理出 3D 人体姿势。它通过嵌入 SMPL 姿势作为多模态 LLM 中的独立信号标记来解决传统人体姿势估计方法的局限性，不仅简化了姿势预测，而且赋予了 LLMs 在推理人体姿势方面应用它们的世界知识的能力，从而在姿势估计上进行推理，创造了两项先进任务：姿势的假设生成和姿势估计的推理。PoseGPT 在这些新提出的任务上优于现有的多模态 LLMs 和特定任务的方法，并开辟了人体姿势分析的新方向。

Nov, 2023

在这篇论文中，我们提出了一种通过自然交互实现复杂行为的增量学习系统，并在一个人形机器人上进行实现。我们利用大型语言模型（LLMs）对机器人行为进行高层次编排，通过在交互控制台中生成 Python 语句来调用机器人的感知和动作，实现交互循环，通过人类指令、环境观测和执行结果反馈给 LLM 来生成下一个语句，从而实现了通过交互学习改进机器人行为的目的。

Sep, 2023

通过利用大规模语言模型的能力，本文提出了一套针对多样化感知的自主对话系统，该系统适应不同人群和个体，考虑到背景、个性、年龄、性别和文化等因素，对话过程由系统预设的知识库架构引导，并利用语言模型生成多样化感知的句子，通过提供精心设计的提示，融合了关于用户、对话历史、语境细节和具体指导的综合信息。我们进行了受控实验和现实世界实验来评估系统的性能，测量了一系列性能指标。

Jun, 2024

ChatRetriever 是一个通过对比学习调整的对话式检索模型，能够准确解读用户意图并表示复杂对话会话，通过在高质量对话指令数据上进行掩码训练进一步提升对话理解，实验证明在五个对话式检索基准上 ChatRetriever 显著优于现有模型，在复杂对话上表现出卓越的鲁棒性，展示了适应 LLM 的潜力并推进了对话式检索研究的发展方向。

Apr, 2024

提出了一种基于多模态 LLM 的多智能体系统 SpeechAgents，用于模拟人类交流，并通过多智能体调优增强了 LLM 的多智能体能力，实验结果表明 SpeechAgents 可以具有一致的内容、真实的节奏和丰富的情感，同时在高达 25 个代理人的情况下表现出优秀的可扩展性。

Jan, 2024

本文介绍了利用自然语言任务进行协作的实体代理模型，发展出了可扩展的数据收集工具，并采集了互动立足语言理解的第一个数据集，以便进一步研究机器模拟人类智能适应新任务与环境的能力。

Nov, 2022