Dec, 2020

从单一卫星图像生成街景全景视频

PDF
TL;DR本文提出了一种新方法，通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景，并通过相应生成的稠密三维到二维相对应关系，实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果，并且是首个成功将跨视角图像合成为视频的方法。
发现论文，激发创造
  • 基于几何引导的卫星图像街景全景合成

    本文提出了一种新的方法，通过建立街景全景图和卫星图像之间的几何对应关系，生成具有新颖性的街景全景图，并展示它在场景几何上的优越性。

    Mar, 2021

  • 卫星到街景合成用于地理定位

    该论文介绍了一种利用多任务架构，通过学习从卫星图像合成逼真街景的方法来解决街景图像地理定位的问题，并在 CVUSA 和 CVACT 基准测试中取得了最先进的表现。

    Mar, 2021

  • 从鸟瞰到街景：一项调查

    通过筛选 20 篇研究论文，本研究全面回顾了从对应的卫星图像合成街景图像的最新技术，主要发现是：（i）需要采用新颖的深度学习技术来合成更加逼真准确的街景图像；（ii）需要收集更多的数据集供公众使用；（iii）需要研究更加具体的评估指标来恰当评估生成的图像。结论是，由于使用了过时的深度学习技术，最近的文献未能生成详细多样的街景图像。

    May, 2024

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 从单张图片合成一致的长期 3D 场景视频

    在这篇论文中，我们提出了一种新的方法来从单个场景图像和大摄像机动作轨迹中综合出一致的长视频，并使用自回归 Transformer 以及基于摄像机的局部性约束来预测多个帧之间关系和下一帧，从而实现了对多帧的序列建模，优于现有的方法，尤其是在室内 3D 场景的长期未来合成中表现出色。

    Mar, 2022

  • 稳定视角合成

    该研究提出了一种名为 Stable View Synthesis（SVS）的方法，利用结构从运动和多视角立体技术生成几何脚手架，并通过处理每个点的方向特征向量合成新的特征，再用卷积网络从合成的特征张量中渲染出目标图像，实现获取展示场景并进行合成视图的能力，并在三个不同世界数据集上得到了优异的性能表现。

    Nov, 2020

  • 增强稳定视角合成

    本文介绍了一种基于多视角几何基础的方法，旨在提高自由移动相机拍摄图像的新观点综合效果。该方法利用多视角立体匹配和单目深度信息的互补特性以及基于多重旋转平均图优化来联合优化场景深度和相机位姿，并综合聚合整个场景的特征以提高视景综合效果。本文丰富的评估表明，该方法较之现有技术提高了相当多的综合效果。

    Mar, 2023

  • 生成视角合成：从单视角语义到新视角图像

    本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

    Aug, 2020

  • 单目相机全局一致深度动态场景新视角合成

    本文提出了一种新的方法，可以从动态场景的一组图像中合成任意视角和时间的图像，通过单视图深度（DSV）和多视图立体深度（DMV）的结合，重新估计视角和时间下的一致性和深度信息，从而精确的合成真实感极强的虚拟视图。

    Apr, 2020

  • 单室内全景布局指导的新视角合成

    本文提出一种从单个室内全景图生成新视角的方法，在使用卷积神经网络提取深层特征和估计深度图的基础上，利用室内场景的布局信息指导目标视角图像的生成，并加入几何约束以提高一致性和鲁棒性。实验结果表明，该方法在小大相机移动下均有较好效果。

    Mar, 2021