CVPRJun, 2022

基于空间关系建模的对称网络用于自然语言车辆检索

PDF
TL;DR本研究提出了一种基于自然语言的车辆检索方法，使用对称网络结构和空间关系建模来保留车辆外貌细节和车辆轨迹全局信息，并考虑了车辆周围环境和车辆间的相互关系，实验结果在自然语言 - based 车辆检索竞赛中取得了最佳表现。
nl-based vehicle retrievalsymmetric networkspatial relationship modelingcross-modal representationsai city challenge
发现论文，激发创造
  • SBNet：基于分割的自然语言车辆搜索网络

    提出了一种基于自然语言分段的车辆检索深度神经网络 SBNet，包括两个任务特定模块，即替换模块和未来预测模块。在 AI City Challenge 2021 中，SBNet 取得了在自然语言驱动车辆跟踪赛道上显著的进步。

    Apr, 2021

  • 自然语言驱动的车辆检索中连接语言与视觉

    本研究使用基于语言描述的车辆搜索来探索其在实际场景中的潜力，结合最先进的视觉模型和基于 Transformer 的语言模型，重新审视了网络结构设计、训练策略和优化目标，实验结果显示出了优越的性能，并希望为未来车辆检索系统的研究铺平道路。

    May, 2021

  • 具有韧性和可解释性的关系网络空间参考基础

    本论文提出一种文本条件化的关系网络模型，通过跨模态的注意力机制动态计算参数以捕获实体之间的精细空间关系，从而实现对文本中空间参照的理解，具有可解释性和鲁棒性，在三个任务中实现了 17% 和 15% 的表现改进，从而解决了在自主导航和机器人控制中学习空间概念表示的关键挑战。

    May, 2020

  • FindVehicle 和 VehicleFinder: 一种基于自然语言的汽车检索的 NER 数据集及基于关键词的跨模态汽车检索系统

    本研究针对提取车辆属性相关关键词时所需大量预处理和后处理工作的问题，借鉴命名实体识别 (NER) 技术构建了一个包含 42.3k 车辆跟踪信息标注的 NL 数据集 - FindVehicle, 通过使用由 FindVehicle 预训练的文本编码器，我们提出了基于自然语言的车辆检索模型 VehicleFinder, 在 homemade 数据集上实现了 87.7% 精度和 89.4% 召回率，每次查询时间为 279.35 毫秒到 93.72 毫秒之间，比基于 Transformer 的系统快得多.

    Apr, 2023

  • 自然语言对象检索

    本文提出了一种基于 SCRC 模型来实现自然语言对象检索的方法，利用空间配置和全局场景级上下文信息对网络进行评分，通过循环网络处理查询文本、本地图像描述符、空间配置以及全局上下文特征来输出概率，实现了从图像标题到任务的视觉语言知识的转移，实验结果表明我们的模型有效地利用了局部和全局信息，在不同数据集和场景中显著优于先前的基准方法，并可以利用大规模的视觉和语言数据集进行知识转移。

    Nov, 2015

  • 面向视觉与语言导航的时空物体关系建模

    利用交叉注意机制，通过对象关系提高代理导航能力，并引入回转惩罚损失函数以解决代理的重复位置访问问题。

    Mar, 2024

  • 神经向量空间用于无监督信息检索

    该研究介绍了一种名为神经向量空间模型（NVSM）的文档表示学习方法，其在新闻文章检索方面表现出很好的效果，该模型使用梯度下降从头开始学习单词和文档的低维表示，同时还能够在语义匹配和词汇匹配上表现良好。

    Aug, 2017

  • 用汇聚方法建模空间关系，实现图像检索和注释

    通过学习参数，提出一种基于池化的空间关系表示的方法，以改进涉及空间语言的图像检索和注释任务，并在两个数据集和两个不同任务上取得了改进

    Nov, 2014

  • 视觉空间推理

    本研究提出 Visual Spatial Reasoning（VSR）数据集，这是包含超过 10k 已标注的英文自然文本图像对和 66 种空间关系的数据集，研究表明当前视觉语言模型只能达到约 70％的准确率，无法识别有关物体朝向的关系。

    Apr, 2022

  • RSG-Net: 面向智能车辆在复杂环境中富语义关系预测

    该研究提出了一种通过使用图卷积网络来预测自动驾驶车辆周围物体间的潜在语义关系的方法，并产生了称为 “路景图” 的图形结构结果，为风险检测、环境理解和决策制定等任务提供了基本方法。

    Jul, 2022