本文提出 Aerial Vision-and-Dialog Navigation (AVDN) 技术，利用自然语言对话方式实现无人机的导航，研究使用 AVDN 数据集实现从全对话历史中进行航行的任务，并提出一种有效的 Human Attention Aided (HAA) 基线模型，通过预测导航航点和人类注意力实现自动导航。

May, 2022

介绍了一种基于 DOROTHIE 平台的 Situated Dialogue Navigation(SDN) 导航基准，考察自主驾驶代理通过对话进行动态环境下导航的能力，结果表明，端到端模型在这种高度动态的语言引导导航任务中是非常困难的。

Oct, 2022

通过在互联网规模的数据上训练视觉语言模型，将其直接融入端到端的机器人控制中，提高泛化能力和实现新兴的语义推理。我们提出了一种简单通用的方法，在模型训练集中直接将行动表现为文本标记，将自然语言回答和机器人行动合并到同一个格式中，从而实现了单一端到端训练模型的目标。我们将这类模型称为视觉语言行动模型（VLA），并以RT-2为例进行了实例化。广泛的评估结果表明，我们的方法可以得到性能优越的机器人策略，并使RT-2在互联网规模的训练中获得一系列新兴能力。这包括对新对象的显著改进的泛化能力，解释不在机器人训练数据中的命令（比如将物体放在特定的编号或图标上）的能力，以及对用户指令做出初步推理的能力（比如选择最小或最大的物体，或者离另一个物体最近的物体）。我们进一步说明了通过思维链式推理，RT-2可以进行多阶段的语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。

Jul, 2023

通过研究人工和机器人合作探索远程地点时的多模态交流，我们发现不同的模态使用策略可能与多个探索子任务的成功相关，并且请求照片的策略可能改进了某些关键实体的识别和计数，未妨碍整体区域的探索。

Oct, 2023

基于视觉学习的无人机在提升操作能力方面起着关键作用，本文综述了视觉学习在无人机中的应用及其面临的挑战。

Dec, 2023

用自然语言操控无人机不仅用户友好，还为新兴的语言代理控制无人机打开了大门。使用基于边缘视觉智能、新颖的编程语言设计和提示工程的系统 TypeFly，通过组合任务和场景描述，TypeFly 利用云端大型语言模型服务以一种小型自定义语言 MiniSpec 编写程序，在执行过程中还能利用查询技巧与语言模型进行交互，从而显著降低了 LLM 服务成本和任务执行时间，并大大提高了复杂任务的成功率。

Dec, 2023

CLIPSwarm是一种基于自然语言的自动建模蜂群无人机编队的算法，通过迭代方法找到与提供的词最匹配的编队，并通过CLIP编码来衡量描述和视觉表达之间的相似性，最后赋予机器人无碰撞运动的控制动作，实现更加有效的视觉表达，并展示了算法的多样性和准确地从自然语言描述中建模机器人编队的能力。

Mar, 2024

本论文使用语音识别和深度学习技术，开发和对比评估了三种控制 Tello 无人机的语音命令管道，其目的是通过启用直观的语音控制无人机动作来提高人机交互性。通过推理时间、准确性、效率和灵活性对每个管道进行了评估，并提供了详细的方法论、数据集准备和评估指标，全面分析了每个管道的优势和适用性。

Jul, 2024

本研究针对半自主网络物理系统如何与人类伙伴有效互动的问题，提出了一种结合抽象预警和信息性接管请求的新设计。通过在线实验，我们发现双模态接管请求显著提高了参与者的准确性，并帮助他们更好地识别关键情况，而使用短语而非完整句子并未提高反应速度或准确性。

Sep, 2024

本研究解决了自动空中交通控制中的人类决策解释问题，提出了一种基于语言模型的代理，该代理具备功能调用和学习能力，能够在无人干预下解决空中交通冲突。研究表明，通过自主学习积累知识的经验库，大幅提高了代理在复杂场景下（如同时处理多架次飞机冲突）的解决能力，并成功提供了人类水平的文本解释，为空中交通自动化贡献了重要的新见解。

Sep, 2024