本文提出 Aerial Vision-and-Dialog Navigation (AVDN) 技术，利用自然语言对话方式实现无人机的导航，研究使用 AVDN 数据集实现从全对话历史中进行航行的任务，并提出一种有效的 Human Attention Aided (HAA) 基线模型，通过预测导航航点和人类注意力实现自动导航。

May, 2022

本研究提出了 VLMaps，一种将 3D 物理世界重建与预训练的视觉语言特征直接融合的空间地图表示，其能够通过大型语言模型将自然语言命令直接转化为空间导航目标。VLMaps 能够在不需要额外标注数据的情况下自主构建，并且可以与多种类型的机器人共享，能够进行导航的同时生成新的障碍物地图。实验表明，VLMaps 可以支持人类语言含义更丰富的导航指令。

Oct, 2022

无人机通过自然语言命令导航仍然是一个重要的挑战，该研究通过GeoText-1652数据集和空间关系匹配的优化目标，展示了利用自然语言命令提升无人机控制和导航的潜力。

Nov, 2023

基于视觉学习的无人机在提升操作能力方面起着关键作用，本文综述了视觉学习在无人机中的应用及其面临的挑战。

Dec, 2023

用自然语言操控无人机不仅用户友好，还为新兴的语言代理控制无人机打开了大门。使用基于边缘视觉智能、新颖的编程语言设计和提示工程的系统 TypeFly，通过组合任务和场景描述，TypeFly 利用云端大型语言模型服务以一种小型自定义语言 MiniSpec 编写程序，在执行过程中还能利用查询技巧与语言模型进行交互，从而显著降低了 LLM 服务成本和任务执行时间，并大大提高了复杂任务的成功率。

Dec, 2023

通过使用自然语言描述图像作为统一的信号来捕捉底层的任务相关语义，我们提出了一种方法来解决在学习图像条件机器人策略时所面临的模拟与真实世界之间的视觉差距问题，该方法通过对大量模拟数据和少量真实演示进行同时训练，将图像编码器作为无域变迁的图像表示的基础，并取得了较之前的Sim2Real方法和CLIP、R3M等强大的视觉-语言预训练方法25至40%的性能提升。

May, 2024

通过引入PhyBench评估数据集，我们评估了6个主要的T2I模型，发现当前的T2I模型主要关注文本到图像翻译，缺乏对物理常识的深入推理；我们提倡对T2I模型内在知识的更多关注，超越它们仅仅作为图像生成工具的实用性。

Jun, 2024

本研究解决了无人机表演生成中传统模型难以创建实用点轨迹的问题。通过将流匹配模型与反应导航算法结合，Gen-Swarms方法能够自动生成准确的3D形状，并指导无人机群的运动，从而提供平滑的轨迹并减少碰撞风险。实验表明，该方法显著提升了无人机表演生成的整体性能。

Aug, 2024

本研究针对半自主网络物理系统如何与人类伙伴有效互动的问题，提出了一种结合抽象预警和信息性接管请求的新设计。通过在线实验，我们发现双模态接管请求显著提高了参与者的准确性，并帮助他们更好地识别关键情况，而使用短语而非完整句子并未提高反应速度或准确性。

Sep, 2024

本研究解决了半自主系统与人类控制者之间的有效互动问题，提出了一种结合抽象预警与信息化接管请求的新设计。研究发现，双模态接管请求能够显著提高参与者选择正确解决方案的准确性，并使其更好地识别关键情况。

Sep, 2024