介绍了针对鱼眼相机照片的新任务 —— 鱼眼语义完成(FSC),以及设计的新算法 FishDreamer。FishDreamer 利用成功的 ViTs,通过一种新颖的极坐标感知交叉注意力模块(PCA)来实现密集背景信息的利用和语义一致性的内容生成,并重视不同的极坐标分布。代码和数据集在该 URL 公开。
Mar, 2023
扩展摄像机的视场在应用如机器人导航和远程视觉辅助等领域中对于增强环境感知大有裨益。本文提出了一种名为 NeRF-Enhanced Outpainting(NEO)的简单而有效的解决方案,利用 NeRF 生成的扩展视场图像来训练场景特定的图像扩展模型,旨在解决忠实地扩充视场的问题。通过全面评估三个逼真数据集和一个真实世界数据集上 NEO 的性能,大量实验证明了我们方法在应对此挑战方面的鲁棒性和潜力,我们相信我们的工作为未来研究社区的进一步探索奠定了坚实的基础。
Sep, 2023
鱼眼相机的畸变修正方法进行了综述,包括多项式畸变模型、全景映射、网格映射、直接方法和基于深度学习的方法。文章强调了每种方法的优点、限制和最新进展,以帮助读者根据自己的具体需求做出明智的决策。
Dec, 2023
本文提出一种方法来塑造一个鱼眼特定的表示空间,以反映这种数据模态中存在的畸变和语义上下文之间的相互作用,该方法向模型提供了关于畸变和语义上下文之间相互作用的学习方法,并应用于目标检测任务中,从而在平均精度上实现了 1.1% 的性能提升,并超过了其他现有的表征学习方法 0.6% 的 性能。
Apr, 2023
提出了一种基于变换器的 360 图像扩充框架 Dream360,可以从用户选择的视口生成多样、高保真、高分辨率的全景图,考虑了 360 图像的球面特性,并通过两个关键学习阶段(基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化)实现了更大的扩充灵活性和保真度。
Jan, 2024
本文提出了一种新的超限变形卷积参数学习方法,即使用超平面空间中的核形状来适应鱼眼图像,改进了现有的变形核方法。实验结果表明,该方法比先前的方法在鱼眼图像上的适应能力更强,使得 CNN 在鱼眼图像适应任务中性能更佳。
Mar, 2022
提出了一种使用正交发散鱼眼相机进行去畸变和深度估计的立体视觉系统方法,通过使用两个虚拟针孔相机,可以创建一个立体对,并通过模拟和实验证明了该方法在去畸变和深度估计准确性方面的有效性。
Jul, 2023
本文介绍了一个包含了合成和真实鱼眼图像以及相应的校准数据和测试设置的数据集,以便能够开发和评估适用于鱼眼图像和视频的专门算法。
Nov, 2022
使用摄像机校准来改变卷积核并适应畸变,使得卷积的感受野类似于透视图像中的标准卷积,从而提高在深度估计和语义分割中校准鱼眼镜头网络的性能。
Feb, 2024
本文提出了一种新的方法来纠正偏离的鱼眼图像,通过学习失真向量映射来独立识别每个像素点的局部失真特征,结合预训练和微调训练范式以及数据增广方法,在纠正中心和偏离的鱼眼图像方面取得了显著的性能提升。
Jun, 2024