ICCVSep, 2021

CTRL-C: 带有线分类的相机标定转换器

PDF
TL;DR本文针对单张图像相机标定提出了一种基于端到端神经网络的方法 - Camera calibration TRansformer with Line-Classification (CTRL-C)，采用 Transformer 架构有效提取全局几何信息，并辅以线分类任务训练网络，实验表明该方法在 Google Street View 和 SUN360 benchmark 数据集上超越了现有最优方法。
single image camera calibrationneural networktransformer architectureline classificationglobal geometric information
发现论文，激发创造
  • 单图像摄像机标定的神经几何解析器

    我们提出了一个神经几何解析器，通过学习使用单个图像进行机器场景的相机校准。相比之前仅依赖于神经网络得到的语义提示的神经网络方法，我们的方法同时考虑了语义和几何提示，从而显著提高了准确性。

    Jul, 2020

  • 深度单张图像相机标定的感知度量

    本论文提出使用一个深度卷积神经网络直接推断相机标定参数，其优于各种其他方法，包括最近的基于深度学习的方法，并通过人类感知研究展示其实用性。

    Dec, 2017

  • CalibFormer：基于 Transformer 的自动 LiDAR - 相机标定网络

    本文提出了一个自动 LiDAR - 相机校准的端到端网络 CalibFormer，通过整合多层相机和 LiDAR 图像特征以获得高分辨率表示，利用多头相关模块更准确地识别特征之间的相关性，并使用 Transformer 架构从相关信息中估计精确的校准参数。该方法在 KITTI 数据集上实现了 0.8751cm 的平均平移误差和 0.0562° 的平均旋转误差，超过了现有最先进方法，展示了强大的鲁棒性、准确性和泛化能力。

    Nov, 2023

  • 复杂拓扑场景中的单应性估计

    我们提出了一种基于字典的自动化摄像机校准方法，利用定制的空间变换网络（STN）和新颖的拓扑损失函数，改善了 IoU 指标，相对于最先进模型提高了 12％。

    Aug, 2023

  • UniCal: 一种基于单支 Transformer 的相机 - 激光雷达标定与验证模型

    我们介绍了一种新颖的架构 UniCal，用于相机和 LiDAR 之间的外部标定，通过基于 Transformer 的骨干网络利用自注意机制来推断传感器之间的 6 自由度相对变换。与以往的方法不同，UniCal 通过将相机图像通道和 LiDAR 映射聚合到一个多通道统一表示中，再使用单分支架构联合提取特征，从而实现了早期融合。通过实验证明，我们证明 UniCal 相较于现有方法实现了最先进的结果。同时，我们还展示通过迁移学习，可将在标定任务中学习到的权重应用于标定验证任务而无需重新训练骨干网络。

    Apr, 2023

  • 无模型畸变校正的单张图像相机标定

    提出了一种从单幅图像中估计完整的标定参数集的方法，通过数字图像相关获得图像点和标定目标上物理点之间的对应关系，同时在先前评估了主点之后分别计算出有效焦距和外部参数，最终获得整个图像上密集均匀的无模型畸变图。

    Mar, 2024

  • 基于 Transformer 模型的多标签图像分类

    本文提出的 C-Tran 是用于多标签图像分类的通用框架，旨在利用 Transformers 来利用视觉特征和标签之间的复杂依赖关系。该方法包括经过训练的 Transformer 编码器，用于预测给定带有蒙版标签的输入集的目标标签集，以及来自卷积神经网络的视觉特征。我们的模型在 COCO 和 Visual Genome 等具有挑战性的数据集上显示出最先进的性能。

    Nov, 2020

  • 基于旋转和投影矩阵的几何约束相机标定

    相机标定是估计内参和外参参数的过程，本文提出了一种基于几何约束的损失函数来测量相机参数，并通过神经网络学习框架进行优化，实验结果表明，在合成和实际数据集上，相比最先进的基准模型，我们的方法在所有参数上都有所改进。

    Feb, 2024

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • 学习校准鱼眼图像的直线以进行校正

    本文提出了一种基于深度学习的方法来同时校准鱼眼镜头的内部参数和矫正失真的图像，并进一步针对其非线性失真分布和特定几何形状设计了一种多尺度感知的神经网络，通过新的数据集测试发现该方法相比于其他先进算法能在合成和真实数据的鱼眼图像上较好地矫正并准确估计失真参数。

    Apr, 2019