Jan, 2024

机器视觉冰山解析：在考虑整体环境条件的情况下推进动态测试

PDF
TL;DR当前的机器视觉测试是否在走向一次巨大灾难？本研究探讨了机器视觉测试的现状与潜在缺陷，并提出了一个层级模型 ——Granularity Grades，该模型致力于对环境情境中各实体的综合认知。通过构建实体关系图，并对图中的关系模式进行聚类分析，我们可以系统地识别机器视觉测试对象的缺陷，并与高度自动化驾驶系统中的整体情境进行关联。
发现论文，激发创造
  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 基于视觉引导的预测 —— 多时序预测的视觉上下文

    本研究针对自动驾驶中的多视角预测车辆状态的问题，提出了一种多视角与历史轨迹相融合的预测框架，并通过使用 3D 卷积从视频中提取视觉特征以及通过 1D 卷积从车速和转向角度轨迹数据中提取特征，实现了在实际数据集上的车辆状态预测任务中的优越表现。

    Jul, 2021

  • 基于深度透视变换的鸟瞰图车辆定位

    自动驾驶汽车的导航系统需要准确理解周围环境，本文提出了一个替代方法，通过生成场景的顶视图，提取其他车辆相对于自我车辆的距离和方向，同时通过将透视图 RGB 图像转换为鸟瞰地图的方法，有效捕捉了自动驾驶汽车所需的重要环境信息。

    Nov, 2023

  • 极端海洋环境下的无人水面船视觉自主导航

    该研究论文介绍了一种应对极端海洋条件中目标物跟踪的自主视觉导航框架，该框架利用生成对抗网络（GAN）和 YOLOv5 目标检测器对视觉特征进行处理，并在沙尘暴和雾等极端能见度受限条件下进行了充分测试，结果表明该方案在多个指标上优于现有方法。

    Aug, 2023

  • GPT-4V (ision) 自动驾驶中的视觉语言模型的早期探索

    该研究论文评估了最新的先进视觉语言模型（VLM）在自动驾驶场景中的应用，发现该模型在场景理解和因果推理方面表现出优越性能，但在方向辨别、交通信号识别、视觉对接以及空间推理任务方面仍存在挑战。

    Nov, 2023

  • 基于视觉物体检测与抓握的月球环境下关节式机械手集成

    视觉技术在月球机器人应用中的整合遇到了许多挑战，本文提出了一个通用的任务流程，使用目标检测、实例分割和抓取检测，可以通过以不同的方式使用这些基于视觉的系统的结果，实现各种不同的应用。我们成功地在困难的光照条件下，在非平坦表面上进行了岩石堆叠任务，成功率达到了 92%。最后，我们展示了一个实验，用于组装 3D 打印的机器人组件，以便在将来进行更复杂的任务。

    Sep, 2023

  • 机器视觉场景理解挑战赛

    利用模拟技术和新的测试方法，提出了一种用于测试具有主动机器人视觉系统的场景理解系统的标准挑战，旨在推动场景理解领域的最新研究。

    Sep, 2020

  • 驶向未来：基于世界模型的自动驾驶多视角视觉预测和规划

    自主驾驶中，通过预测未来事件并评估可预见的风险，使自动驾驶汽车能够更好地规划动作，提高道路安全和效率。我们提出了 Drive-WM，这是第一个与现有端到端规划模型兼容的驾驶世界模型。通过视图因式分解实现的联合时空建模，我们的模型在驾驶场景中生成具有高保真度的多视图视频。基于其强大的生成能力，我们首次展示了将世界模型应用于安全驾驶规划的潜力。特别是，我们的 Drive-WM 能够根据不同的驾驶操纵方式驾驶到多个未来，并根据基于图像的奖励确定最佳轨迹。对真实驾驶数据集的评估验证了我们的方法能够生成高质量、一致性和可控性的多视图视频，为真实世界模拟和安全规划开辟了新的可能性。

    Nov, 2023

  • 自动驾驶再思考：多任务知识提升泛化及事故解释能力

    本文提出了一个基于分析易任务知识对困难任务进行指导以增强驾驶模型泛化力和事故解释能力的新型驾驶模型，通过多任务感知相关基础知识和驾驶知识的逐步训练，成功地提高了驾驶模型的平均完成率，使其在未训练的城市和天气中大幅优于当前基准方法。

    Sep, 2018

  • 自我监督的多任务学习框架：基于车载摄像头实现安全健康导向的互联驾驶环境感知

    本文提出了一种基于图像合成和分解的双向 BPISD 方法，以及一种新的自监督多任务学习框架，可以同时估计深度、大气可见度、空气光和 PM2.5 质量浓度，从而进一步提高交通安全性、空气质量和公共卫生。

    Jun, 2023