Apr, 2024

GeoSynth: 上下文感知高分辨率卫星图像合成

PDF
TL;DRGeoSynth 是一个模型，用于合成具有全球风格和图像驱动的布局控制的卫星图像，通过文本提示或地理位置进行全球风格控制，可以使用场景语义或区域外观，通过在大量成对卫星图像、带自动生成标题和 OpenStreetMap 数据的数据集上训练该模型，在包括不同类型的布局控制在内的控制输入方面进行评估，结果表明我们的模型可以生成多样化、高质量的图像，并展示出优异的零次泛化能力。
发现论文，激发创造
  • 卫星到街景合成用于地理定位

    该论文介绍了一种利用多任务架构，通过学习从卫星图像合成逼真街景的方法来解决街景图像地理定位的问题，并在 CVUSA 和 CVACT 基准测试中取得了最先进的表现。

    Mar, 2021

  • 基于条件像素合成的卫星图像时空超分辨率

    通过丰富、廉价、低分辨率的卫星图像，提出一种新的条件像素合成模型，生成准确的高分辨率图像，以帮助解决高分辨率图像采集不足和成本过高等问题；该模型能够用于改善物体计数等重要应用，特别是在地理条件快速变化的地区。

    Jun, 2021

  • 基于几何引导的卫星图像街景全景合成

    本文提出了一种新的方法，通过建立街景全景图和卫星图像之间的几何对应关系，生成具有新颖性的街景全景图，并展示它在场景几何上的优越性。

    Mar, 2021

  • 几何图像合成

    本研究提出了一种可训练的、基于几何感知的图像生成方法，利用几何和分割等场景信息生成逼真自然、符合期望的场景结构的图像，并通过 GIS 框架插入驾驶场景中的车辆、生成来自 Linemod 数据集的物体新视角，展示其能够广泛适用于新颖的场景、物体形状和分割，且可用于合成大量训练数据以训练实例分割模型。

    Sep, 2018

  • PixelSynth: 从单张图像生成 3D 一致的体验

    使用可微分渲染和 3D 推理相结合的自回归建模方法，实现了单幅图像的大视角高度一致性生成，比其他方法在视图生成和 3D 一致性方面具有显著的改进。

    Aug, 2021

  • 从单一卫星图像生成街景全景视频

    本文提出了一种新方法，通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景，并通过相应生成的稠密三维到二维相对应关系，实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果，并且是首个成功将跨视角图像合成为视频的方法。

    Dec, 2020

  • 生成视角合成：从单视角语义到新视角图像

    本文提出一种叫做 GVS 的方法，可基于输入的语义地图，综合出多个真实感的场景视角，还可进行风格操作和图像编辑操作，如通过简单处理输入的风格图像和语义映射来添加或删除对象等。

    Aug, 2020

  • CrossLoc: 多模态合成数据辅助的可扩展空中定位

    本研究提出了一个基于合成数据学习估计真实世界中摄像机姿态的视觉定位系统，通过自我监督的交叉模态视觉表示学习方法，在不需要额外数据的情况下，大大提高了神经网络性能。

    Dec, 2021

  • 从鸟瞰到街景：一项调查

    通过筛选 20 篇研究论文，本研究全面回顾了从对应的卫星图像合成街景图像的最新技术，主要发现是：（i）需要采用新颖的深度学习技术来合成更加逼真准确的街景图像；（ii）需要收集更多的数据集供公众使用；（iii）需要研究更加具体的评估指标来恰当评估生成的图像。结论是，由于使用了过时的深度学习技术，最近的文献未能生成详细多样的街景图像。

    May, 2024

  • SyntheWorld: 用于土地覆盖制图和建筑变化检测的大规模合成数据集

    SyntheWorld 是一种无与伦比的合成数据集，具有高质量、多样性和规模，包含 40,000 张具有亚米级像素的图像和八个类别的细粒度土地覆盖注释，还提供了 40,000 对双时间图像对和建筑变化注释用于建筑变化检测任务，我们在多个基准遥感数据集上进行了实验，验证了 SyntheWorld 的有效性并调研了合成数据在何种情况下具有优势，我们将发布 SyntheWorld 以促进遥感图像处理研究。

    Sep, 2023