Sep, 2023

将预训练的语言编码器融入自动驾驶轨迹预测模型

PDF
TL;DR本研究提出了一种新颖的基于文本的交通场景表示方法，并使用预训练语言编码器进行处理。我们展示了文本表示与传统光栅图像表示结合可以产生描述性的场景嵌入。在 nuScenes 数据集上对我们的预测进行了基准测试，并与基准模型相比显示了显著改进。消融实验结果表明，文本和光栅图像的联合编码器优于各自编码器，证实了两种表示方法具有互补的优势。
autonomous drivingscene understandingtext-based representationtraffic sceneslanguage encoder
发现论文，激发创造
  • 交通场景的深层表示学习与聚类

    本研究提出了两种数据驱动的自动编码模型来学习车辆交通场景的潜在表示，并显示了如何使用潜在场景嵌入来聚类交通情况并检索相似交通情况。

    Jul, 2020

  • 提高场景文本检测器的视觉语言预训练

    本文研究了视觉 - 语言联合表征学习在场景文本检测中的应用，提出了利用视觉 - 语言预训练学习得到的上下文化联合表征来提高场景文本检测器的性能，通过三个 pretext tasks 来进行预训练，在标准基准测试中证明了该方法能够显著提高各种代表性的文本检测器的性能。

    Apr, 2022

  • 高效利用语言先验进行场景文本定位

    通过利用大型文本语料库中的语言知识，替换自回归场景文本定位和识别模型中传统的独热编码，提高了场景文本定位和识别性能，并实现了更准确的词语定位。

    Feb, 2024

  • 基于 Transformer 的场景文本识别

    本论文提出了一种基于 transformer 的简单但极其有效的场景文本识别方法，只需要空间注意力而不需要矫正图像，仅使用卷积特征图作为单词嵌入输入到 transformer 中，并在大规模实验中取得了显著的优越性能。

    Mar, 2020

  • 轨迹英语：学习驾驶场景的语言

    通过离散序列建模方法，我们研究了自动驾驶开发中模拟基于记录驾驶日志的动态驾驶场景的挑战。使用简单的数据驱动分词方案，将轨迹离散化到厘米级分辨率，并采用类似 GPT 模型的编码器 - 解码器来建模车辆、行人和骑车人在驾驶场景中的互动。通过在模型中抽样场景，我们展示了该模型具有最先进的真实性，且在 Waymo Sim Agents Benchmark 上超越先前的工作，其中真实性值成功提高了 3.3%，与其他模型相比，互动度提高了 9.9%。我们还在完全自动驾驶和部分自动驾驶环境中分析了我们的建模选择，并展示了我们的模型学到的表示可以快速适用于改进 nuScenes 的性能。此外，我们还对模型的参数数量和数据集规模进行了可扩展性评估，并利用模型得出的密度估计量化了上下文长度和时间间隔内交互对于交通建模任务的重要性。

    Dec, 2023

  • 利用大型语言模型增强基于文本数据的交通预测

    利用大语言模型处理文本信息并与历史交通数据结合，提出了一种改进交通预测准确度的新方法。

    May, 2024

  • SEPT：面向运动预测的高效场景表示学习

    该研究呈现了 SEPT，一个利用自我监督学习来开发复杂交通场景的强大时空理解能力的建模框架，其通过三个遮蔽 - 重构建模任务对包括车辆轨迹和道路网络在内的场景输入进行预训练，然后在下游预测任务上微调，实验证明 SEPT 在 Argoverse 1 和 Argoverse 2 运动预测基准测试中无需繁琐的架构设计或手动特征工程，在所有主要指标上都显著优于以前的方法。

    Sep, 2023

  • 场景文本识别的原始表示学习

    使用基本表示学习方法来处理多方向场景文本，通过构建一个基本表示学习神经网络和图卷积网络来实现。把学习到的视觉文本表示和 2D 注意力机制的编码 - 解码模型结合起来，提出了一个 PREN2D 框架，该框架在英文和中文场景文本识别任务中实现了最先进的表现。

    May, 2021

  • INFER: 用于未来预测的中间表示

    通过使用语义信息，我们提出了一种中间表示形式，并训练了一个自回归模型来准确预测城市道路交通参与者的未来路线，该表示形式适用于多目标跟踪等领域，并且可以泛化到各种城市和路况。

    Mar, 2019

  • SEED: 场景文本识别的加强语义编码器 - 解码器框架

    本研究提出了一种基于编码器 - 解码器框架的语义增强模型来识别低质量的场景文本，它使用显式的全局语义信息，并将现有的 ASTER 方法作为示例，实验证明了该模型对低质量文本图像更加鲁棒，并在多个基准数据集上取得了最先进的结果。

    May, 2020