Oct, 2023

基于格里曼角度场视觉变换器的自动驾驶车辆驾驶行为探索

PDF
TL;DR本研究提出了 Gramian Angular Field Vision Transformer (GAF-ViT) 模型，用于分析自动驾驶汽车 (AV) 的驾驶行为。该模型通过将多变量行为的代表序列转化为多通道图像，并应用图像识别技术进行行为分类，实现了对多通道图像的特征驾驶行为的识别。对 Waymo Open 数据集的实验评估表明，该模型实现了最先进的性能，同时消融研究有效地证实了模型中各个组件的功效。
autonomous vehicledriving behaviorgramian angular field vision transformerbehavior classificationwaymo open dataset
发现论文，激发创造
  • GPT-4 增强型自动驾驶多模态基础：借助大型语言模型的跨模态注意力

    在自动驾驶车辆领域中，准确识别指挥者意图并在视觉环境中执行语言指令是一个巨大的挑战。本文介绍了一个复杂的编码器 - 解码器框架，用于解决自动驾驶车辆中的视觉 grounding 问题。我们的 Context-Aware Visual Grounding (CAVG) 模型是一个先进的系统，将文本、图像、上下文和跨模态的五个核心编码器集成到一个多模态解码器中。该模型通过实施多头跨模态注意力机制和区域特定动态 (RSD) 层，能够高效处理和解释一系列跨模态输入，从而全面理解口头指令和相应的视觉场景之间的相关性。在真实世界基准数据集 Talk2Car 上的实证评估表明，CAVG 在预测准确性和操作效率方面树立了新的标准。值得注意的是，即使在完整数据集的 50% 到 75% 的有限训练数据的情况下，该模型表现出色。这一特点凸显了它在实际自动驾驶应用中的效果和潜力。此外，CAVG 在挑战性场景中展现出了卓越的强健性和适应性，包括长文本命令解释、低光条件、模糊的命令上下文、恶劣天气条件和人口密集的城市环境。该模型的代码可在我们的 Github 上找到。

    Dec, 2023

  • VT-Former：一种基于 Transformer 的智能高速公路交通系统车辆轨迹预测方法

    在现代网络物理系统和智能交通系统中，提高道路安全和交通管理已成为一个重要的关注领域。通过引入一种新的基于 transformer 的方法 —VT-Former，并结合 Graph Attentive Tokenization (GAT) 模块，我们提出了一种精确的车辆轨迹预测方法。在三个基准数据集上的研究表明，VT-Former 在车辆轨迹预测方面具有最先进的性能，并且具有普适性和鲁棒性。我们还评估了 VT-Former 在嵌入式板上的效率，并探讨了其作为样本应用的车辆异常检测潜力，展示了其广泛的适用性。

    Nov, 2023

  • 面向航空视觉与对话导航的目标感知图形感知变压器

    本研究提出了一种目标感知的图注意力变换器（TG-GAT）框架，用于无人机代理相关对话历史与航空观测的关联，以实现导航任务，并通过大型语言模型实现辅助视觉以及数据增强策略，有效提高导航性能。

    Aug, 2023

  • FViT：一种具有 Gabor 滤波器的聚焦视觉变换器

    利用 Gabor 滤波器和学习能力，结合视觉变换器模型，设计了一种有效的金字塔网络结构，称为 Focal Vision Transformers（FViTs），在各种视觉任务中展现出出色的性能。

    Feb, 2024

  • 自主驾驶车辆的运动预测

    为了部署安全的自主驾驶汽车，需考虑静态几何上下文和动态社交交互，最近的深度学习方法已实现了距离预测指标的最新性能，但存在无法考虑 AV 意图运动计划的局限，因此提出了一种基于人 - 车道几何和人 - 人社交关系的图形加权循环递归方法，以支持注入抵消几何目标和社交情境，在规划循环中运用以推理有关 AV 意图路径的未观察原因或不太可能的未来。

    Aug, 2020

  • 探索注意力 GAN 用于车辆运动预测

    本研究使用自注意力模块来计算社交和物理上下文情境，采样白噪声，探索了生成模型中注意力的影响，并在 Argoverse 运动预测基准 1.1 上取得了竞争力的单峰结果。

    Sep, 2022

  • 基于异质注意力模式的视觉 Transformer 加速

    基于观察到的异构注意力模式，在 Vision Transformers 中提出了一种综合压缩方法，通过动态引导的静态自注意力和全局聚合金字塔，加速了运行时间吞吐量，超过了所有 SOTA 方法。

    Oct, 2023

  • TransFG: 用于细粒度识别的 Transformer 架构

    本文介绍了一个基于 Vision Transformer 和 Part Selection Module 的模型 ——TransFG，可以有效提取重要的图像特征，应用于 Fine-grained visual classification，实现了最先进的表现。

    Mar, 2021

  • 特征融合视觉 Transformer 用于细粒度视觉分类

    本文提出了一个基于 Transformer 的框架，通过聚合特征来处理细粒度视觉分类任务，其中引入了一种新的令牌选择模块（MAWS）来引导网络有效地选择具有判别性的令牌，从而实现了最先进的性能。

    Jul, 2021

  • 高尔夫球员：带掩码目标条件的 MnM 网络轨迹预测

    本研究提出了一种名为 golfer 的基于 Transformers 的模型，能够高效地预测自动驾驶汽车的轨迹，并在 2022 Waymo Open Dataset Motion Prediction Challenge 中获得第二名和 minADE 中的第一名。

    Jul, 2022