May, 2024

基于视觉变换器的端到端基于视觉的四旋翼避障

PDF
TL;DR在高速四旋翼无人机中展示了一种基于关注机制的端到端方法，用于在密集、杂乱环境中避开障碍物，与各种最先进的架构进行比较。
quadrotor obstacle avoidanceend-to-end approachattention-based modelsvision transformersvision-based quadrotor control
发现论文，激发创造
  • 野外快速飞行学习

    提出了一种全新的端到端方法，利用卷积神经网络将嘈杂的传感观测直接映射到避撞轨迹，从而实现四旋翼的高速自主飞行。在模拟训练中，该方法可以实现从模拟到真实环境的零 - shot 迁移，成功地使四旋翼在森林、雪地、脱轨的火车和倒塌的建筑物等复杂环境中高速自主飞行，并优于传统方法。

    Oct, 2021

  • 一种基于注意力的深度学习框架用于实时单目视觉里程计：应用于无 GPS 无人机导航

    本文介绍了一种用于无人机的新型实时单目视觉里程计模型，使用了深度神经网络架构和自注意力模块，能够通过连续视频帧估计相机的自身运动，进而估计无人机的轨迹。该模型在两个视觉里程计数据集上测试，收敛速度比之前的循环神经网络模型快 48％，并且平均平移漂移减少了 22％，平均平移绝对轨迹误差改善了 12％，表现出更强的抗噪能力。

    Apr, 2024

  • 面向无人机有限环境知识的基于记忆的深度强化学习障碍物避难技术

    本文提出了基于深度强化学习和递归神经网络的无人机避障技术，可在未知室内环境中自主避免障碍物，提高了导航距离和推理速率。

    Nov, 2018

  • C2FDrone: 基于视觉 Transformer 网络的粗 - 精无人机间检测

    基于视觉转换器的粗细检测策略用于无人机检测，提升 F1 得分，并在边缘计算设备上实现实时处理能力。

    Apr, 2024

  • 自动驾驶中视觉变形器研究综述：现状和未来发展方向

    该论文综述探讨了视觉 Transformer 模型在自动驾驶中的应用，重点研究了自我注意力、多头注意力和编码器 - 解码器架构等基本概念，并比较了它们在目标检测、分割、行人检测、车道检测等应用中的架构优点和局限性，最后展望了视觉 Transformer 在自动驾驶中的未来研究方向。

    Mar, 2024

  • 基于自监督预训练 Vision Transformer 的单目机器人导航

    使用自监督方法预训练的 Vision Transformer，成功地在使用 70 个训练图像的 Duckietown 环境中训练了一个粗略的图像分割模型，其推理分辨率可以调整以平衡预测粒度和实时感知约束，并用作简单而强大的视觉伺服代理的骨干，用于差分驱动移动机器人的车道跟踪和障碍物回避两个任务。

    Mar, 2022

  • 有序单目乱飞的视觉和学习

    首次实现了在小型无人机中使用单目视觉作为唯一感应模式的视野优化控制，其通过机器学习进行成本敏感特征选择和快速非线性回归进行单目深度预测，并结合其他感应模式。

    Nov, 2014

  • 基于人类注意力辅助的航空视觉与对话导航的多模型融合

    发展能够与人类交流并遵循自然语言命令的智能无人机，该研究提出了一种基于 AVDN 数据集的高效融合训练方法，使用 HAA-Transformer 模型和 HAA-LSTM 模型，对导航路由点和人的注意力进行预测，并在 SR、SPL 指标上取得高效果，相比基线模型，GP 指标有 7% 的改进。

    Aug, 2023

  • 在复杂自然环境中学习单目无人机反应控制

    本文研究了如何使用单一相机感知环境，利用模仿学习技术训练控制器以适应无人机飞行方向，实现低空自主飞行并避开障碍物。

    Nov, 2012

  • 压缩视觉 Transformer 用于低资源视觉学习

    通过使用模型压缩技术，本研究旨在实现对视觉转换器在资源受限设备上的快速推理，以在边缘环境中将其部署在无人机上，并以最小的准确性损失，以便在监视、环境监测等领域开辟新的可能性。

    Sep, 2023