本文提出了一种新方法,通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景,并通过相应生成的稠密三维到二维相对应关系,实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果,并且是首个成功将跨视角图像合成为视频的方法。
Dec, 2020
该论文介绍了一种利用多任务架构,通过学习从卫星图像合成逼真街景的方法来解决街景图像地理定位的问题,并在 CVUSA 和 CVACT 基准测试中取得了最先进的表现。
Mar, 2021
通过筛选 20 篇研究论文,本研究全面回顾了从对应的卫星图像合成街景图像的最新技术,主要发现是:(i)需要采用新颖的深度学习技术来合成更加逼真准确的街景图像;(ii)需要收集更多的数据集供公众使用;(iii)需要研究更加具体的评估指标来恰当评估生成的图像。结论是,由于使用了过时的深度学习技术,最近的文献未能生成详细多样的街景图像。
May, 2024
本文提出了基于几何约束的跨视图图像合成方法,该方法包含使用单应性矩阵将图像映射到另一个视图,利用生成式对抗网络对转换后的图像进行缺失区域修复,实现更为逼真的图像合成效果。
Aug, 2018
本文提出一种从单个室内全景图生成新视角的方法,在使用卷积神经网络提取深层特征和估计深度图的基础上,利用室内场景的布局信息指导目标视角图像的生成,并加入几何约束以提高一致性和鲁棒性。实验结果表明,该方法在小大相机移动下均有较好效果。
本文研究了将查询街景图像与参考集中带有 GPS 标记的航空图像进行匹配的问题,并指出了图像对齐信息的被忽视问题,研究表明,基于度量学习技术的改进可以显著提高性能而无需利用对齐信息,同时使用 Grad-CAM 进行可视化来理解模型以及对齐信息的效果,提出了一种新的方法来估计未知对齐信息下的交叉视图图像之间的方向 / 对齐,其在 CVUSA 数据集上取得了最新的结果。
May, 2020
本文提出了一种车载摄像机定位的解决方案,通过神经网络和几何投影模型实现从地面图像匹配到高空卫星地图上,并把匹配问题转化为姿态估计问题来提高定位精度。
Apr, 2022
本文提出了一种利用场景 3D 几何信息进行新视角生成的方法,通过学习区域感知几何转换网络实现输入图像到目标视角的变换,并在 KITTI 和 ScanNet 数据集上取得了优于现有方法的高质量生成效果。
Apr, 2018
该论文提出了一种基于语义分析的方法,通过比较地面图像与卫星图像的特征,结合语义分割掩模,实现无 GPS 数据的查询地理定位,并在不同视场上通过对 CVUSA 数据集进行测试表明该方法提升了性能。
Apr, 2024
该论文介绍了一种用于卫星和街景图像对的细粒度建筑属性分割的新方法,通过引入鸟瞰图方法解决了传统方法中建筑物立面特征获取的局限性,并通过新的卫星引导的投影模块优化了传统方法中特征分布不均匀的问题。该方法在来自多个城市的四个跨视图数据集上取得了显著的改进,与最先进的基于卫星和跨视图的方法相比,平均 mIOU 提高了 10.13% 和 5.21%。