Oct, 2023

街景动画

PDF
TL;DR我们提出了一个系统，通过在现有的街景图像上插入自然行为的动画行人和车辆，使其活灵活现。我们的方法是将输入图像中的现有人和车辆移除，插入具有适当比例、角度、运动和外观的移动对象，规划路径和交通行为，并以合理的遮挡和阴影效果渲染场景。该系统通过重建静止图像街景、模拟人群行为以及以一致的光照、可见性、遮挡和阴影进行渲染来实现这些目标。我们在包括常规静态图像和全景图在内的多种街景场景上展示了结果。
street view imageryanimated pedestriansmoving objectscrowd behaviorrendering effects
发现论文，激发创造
  • 使用深度和多视角图像保护街景全景图的隐私

    该论文提出了一种自动移除和修复街景图中运动物体的替代方案，基于多幅彼此连接的街景图像，利用深度一致性以及分割网络的结果，检测出运动物体并进行修复，并在 1000 个图像数据集上取得了较好的峰值信噪比和 L1 损失结果，同时进行了人眼评估。

    Mar, 2019

  • MagicDrive: 带有多样化三维几何控制的街景生成

    MagicDrive 是一种新颖的街景生成框架，通过定制的编码策略实现了包括相机姿态、道路地图和三维边界框在内的多样化三维几何控制，并采用交叉视图注意模块确保多个相机视图之间的一致性，从而实现了高保真的街景综合，捕捉了细腻的三维几何和各种场景描述，增强了 BEV 分割和三维物体检测等任务。

    Oct, 2023

  • 利用人工智能发现的街景模式可视化路线

    街道级视觉外观、地理可视化界面、语义潜在向量、空间图像模式和驾驶路径规划器是这篇论文的关键词。该论文研究了将街道级视觉外观整合到地理可视化界面（例如地图服务）以规划驾驶路径的新型可视化任务，并提出了多项新的贡献，并通过 VivaRoutes 交互式可视化原型展示了这些发现模式如何帮助用户有效和交互地探索多条路径，并通过用户研究评估了 VivaRoutes 的实用性和效用。

    Mar, 2024

  • 街景图像中物体的自动发现和地理标记

    本文提出了一种基于街景图像的自动检测并计算感兴趣的重复固定对象的 GPS 坐标的方法，使用两个全卷积神经网络进行处理并使用一种新颖的自定义马尔可夫随机场模型进行三角化，实验证明了本方法的有效性。

    Aug, 2017

  • 地图学习：自动驾驶的视觉常识

    本文提出了一种基于车载摄像头图像的道路布局推断模型，同时构建了一个路况数据集，可以将导航地图的元数据与 Google 街景图像匹配以提供标签，并利用深度卷积网络训练该模型，结果表明该方法可用于提升基础设施安全性。

    Nov, 2016

  • 具有语义感知的 2DGS 的 3D StreetUnveiler

    通过 Crowded Observations 捕获的车载相机，我们介绍了 StreetUnveiler 来重建空旷道路的 3D 表示，通过去除不需要的高斯分布，我们使用时间逆转框架对帧进行填充以增强填充的时序一致性。

    May, 2024

  • Vid2Actor: 野外视频中基于自由视点的动态人物合成

    通过视频重建一个可动画的模型，运用深度学习网络训练产生了一种体积式 3D 人体表达，实现了新颖的姿态 / 视角的综合和不需要预先装配模型的图像合成。研究证明了该模型的有效性并展示了不同人的视频实验结果以及模型的运用：运动重定向和子弹时间效果。

    Dec, 2020

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017

  • 从单一卫星图像生成街景全景视频

    本文提出了一种新方法，通过使用单张卫星图像和相机轨迹合成具有时间和几何一致性的全景视频。该方法使用了 3D 点云表示场景，并通过相应生成的稠密三维到二维相对应关系，实现了几何和时间上的一致性。同时使用级联网络和两个 Hourglass 模块生成粗特征和细特征以及最后生成逼真的视频。该方法在实验中得到了超越其他现有的合成方法的优异结果，并且是首个成功将跨视角图像合成为视频的方法。

    Dec, 2020

  • 街景图片开源数据管道：基于 COVID-19 疫情期间社区流动性的案例研究

    我们开发了一个开源数据处理管道，用于处理从车载摄像头记录的 360 度视频数据，生成街景图像，为时序分析提供输入，并通过对行人交通的统计分析验证了数据处理管道的输出。这项研究展示了收集和使用街景图像数据在研究中的可行性和价值，并在室外行人交通模式方面提供了新的见解。

    Jan, 2024