Jan, 2024

OmniSCV：一种面向计算机视觉的全向合成图像生成器

PDF
TL;DR我们提出了一个工具，用于生成具有语义和深度信息的全向图像数据集。这些图像是从采集于虚拟环境中的捕捉集合中合成的，能够提供像素级的关于语义、深度以及摄像头的校准参数的信息，从而为机器学习算法的训练和三维视觉方法的测试提供了像素精度的真实信息。
omnidirectional imagescomputer vision algorithmsdatasetscalibration parametersphotorealistic non-central images
发现论文，激发创造
  • 适应全景视频的计算机视觉算法

    本研究概述了全向（360 度）视频在计算机视觉算法中面临的挑战，如广泛采用的特殊（equirectangular）投影和巨大的图像尺寸，并提出了适应全向视频特定需求的计算机视觉算法策略。

    Jul, 2019

  • 基于图的全向图像分类

    本研究使用基于图的方法来考虑全向相机的几何形式，并将其扩展到深度学习体系结构中，旨在提高全向图像分类的准确性。实验证明所提出的方法优于当前用于全向图像分类问题的技术。

    Jul, 2017

  • OmniMVS：全向立体匹配的端到端学习

    本文提出了一种新颖的端到端深度神经网络模型，用于从广角多视角立体成像中实现全向深度估计，并提出了大规模的合成数据集来用于算法的训练与测试。结果表明，所提出的方法在合成和实际环境中都生成了出色的结果，并优于现有技术。

    Aug, 2019

  • 非中心全景室内数据集

    首次提出了用于室内场景理解的非中心全景数据集，包含 2574 个 RGB 非中心全景图像，每个图像都有深度图和注释，以获取室内空间的布局和相机姿态。

    Jan, 2024

  • 全向开放词汇 360 度图像生成的自回归全感知扩展绘画

    360 度图像合成的研究中提出了自回归全方位感知生成网络（AOG-Net），通过在不完整的 360 度图像中使用不完全视野和文本指导逐步完成生成，以获取细粒度且与文本一致的模式，实现了更大的编辑灵活性。实验表明，该方法在室内和室外环境下的两个常用数据集上取得了最先进的性能。

    Sep, 2023

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • 全景室内密集深度估计

    本论文研究了 360 图像的深度估计问题，提出了使用重新渲染的 3D 在线数据集来解决缺乏高质量 360 数据集的挑战，并使用这个数据集实现了端对端的深度估计模型

    Jul, 2018

  • 在 360 度世界中移动：从单个全景合成全景视差

    OmnineRF 是第一个将视差功能应用于新型全景视图合成方法，通过在不同虚拟相机位置的不同 2D 全景坐标系之间进行前后投影，从而可以优化一个全向神经辐射场并实现全向视角下固定中心的可见像素的集合，以估算来自不同相机位置的新视角的图像渲染效果。

    Jun, 2021

  • AIGCOIQA2024: AI 生成全方位图像的感知质量评估

    建立了一个名为 AIGCOIQA2024 的大规模 AI 生成全景图像 IQA 数据库，并构建了一个综合基准，以评估最先进的 IQA 模型在该数据库上的性能。

    Apr, 2024

  • OmniHorizon: 从合成全向数据集中预测野外户外深度和法向量

    介绍了 OmniHorizon 数据集，包含广泛的室内外空间，包括建筑、街道和各种植被，也考虑了动态场景组件，还演示了基于相应数据集的学习合成到真实的跨域推理方法。提出了 UBotNet 架构来估计场景一致性法线，UBotNet 在深度和法线估计上比几个现有的网络（如带跳过连接的 U-Net）显著提高了准确性。最后在真实世界图像上演示了 UBotNet 的深度和法线估计，展示了所提议的数据集和网络在场景理解方面的潜力。

    Dec, 2022