IJCAIDec, 2020

自动驾驶通用神经符号联合视觉和语义的常识视觉推理

PDF
TL;DR本文系统地阐述了自动驾驶背景下，系统集成视觉和语义解决方案用于视觉意义建模的需求和潜力，提出了一种通用的神经符号方法，使用 ASP 进行在线视觉意义建模，该方法整合了最先进的视觉计算技术和深度语义学习，是一个可在混合体系结构下用于实时感知和控制的模块化框架，在 KITTIMOD，MOT-2017 和 MOT-2020 等声誉良好的基准测试中进行了评估和论证。
cognitive visiondeep semanticsanswer set programmingautonomous drivinghuman-centred computing
发现论文，激发创造
  • 视而不见不意味着不存在：一种基于答案集程序的自动驾驶视觉理解在线脱附框架

    以人为中心的视觉感知方法是实现自动驾驶的重要组成部分，引入了深度学习和回答集编程技术实现在线视觉感知。

    May, 2019

  • 半自动驾驶车辆中评估驾驶员情境感知能力：基于 ASP 的驾驶动力学特征建模场景解释与预测

    软件和硬件框架评估驾驶员对交通状况的感知能力，并提供人机界面辅助以增强感知能力，重点介绍基于答案集规划的驾驶员场景解释和预测方法。

    Aug, 2023

  • 高层诱导下的可视化解释：基于答案集编程的机动物体推理

    我们提出了一种混合架构，用于系统地计算关于视频数据的鲁棒视觉解释，其中包括假设形成，信念修正和默认推理，并且由紧密集成的两个协同构成：以时间 - 空间为基础的踪迹上的函数回答集规划的诱导推理和基于检测的对象跟踪和动态分析的视觉处理流程。

    Dec, 2017

  • 认知机器人的常识场景语义：走向基于视觉 - 运动相互作用的根源

    本文提出了一个基于人类重心的空间和运动表示的低层次视觉处理与高层次人类中心的空间和运动表示相结合的方法来解决物体交互和室内运动等问题。

    Sep, 2017

  • 面向语义目标驱动导航的视觉表征

    本研究主要探讨了如何在复杂环境下使用语义视觉导航技术，通过使用实时现成的高级语义和语境特征来训练深度神经网络的方式进行导航决策，并通过将现实和虚拟数据的特征表示结合起来提高模型的学习效果达到更高的导航性能。

    May, 2018

  • 瞄准正确的物品：自动驾驶的引导性语义凝视

    该论文提出了一种基于场景语义和注视信息相结合的自动驾驶注意力预测方法 SAGE，并通过修改自动驾驶的关键预测参数，设计了一个完整的预测框架 SAGE-Net，实验证明 SAGE 在不增加计算量的情况下，可以优于现有技术 87.5% 的案例。

    Nov, 2019

  • 使用事故经验和常识推理规划自动驾驶

    本文介绍了一种 Automated Driving Strategical Brain（ADSB）框架，该框架包括经验引用引擎（ERE）、常识引用引擎（CIE）和目标及价值保持器（GVK），用于提高自动驾驶汽车的安全性，处理复杂场景并提供决策上下文。

    Jan, 2023

  • 神经符号 VQA: 从视觉和语言理解中分离推理

    该论文介绍了神经符号视觉问答系统，结合深度表示学习和符号程序执行，具有更好的数据和内存效率以及对推理过程的全透明度。

    Oct, 2018

  • GPT-4V (ision) 自动驾驶中的视觉语言模型的早期探索

    该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

    Nov, 2023

  • 神经符号视觉推理：将 “视觉” 与 “推理” 分离

    本文提出一个框架来单独评估视觉问答（VQA）中的推理方面，同时引入一种新颖的自上而下校准技术，以使模型即使具有不完美的感知也能回答推理问题，通过在具有挑战性的 GQA 数据集上进行深入的分离比较，可以了解到众所周知的 VQA 模型参与的见解以及任务。

    Jun, 2020