Sep, 2023

全向开放词汇 360 度图像生成的自回归全感知扩展绘画

PDF
TL;DR360 度图像合成的研究中提出了自回归全方位感知生成网络（AOG-Net），通过在不完整的 360 度图像中使用不完全视野和文本指导逐步完成生成，以获取细粒度且与文本一致的模式，实现了更大的编辑灵活性。实验表明，该方法在室内和室外环境下的两个常用数据集上取得了最先进的性能。
360-degree imagesynthesizinggenerative networkautoregressive schemetext guidances
发现论文，激发创造
  • 高效 3DCG 背景创建的多样真实 360 度图像外延技术

    本文提出了基于 Transformers 和 CompletionNets 的自动场景建模方法，使用 WS-perceptual loss 和 circular inference 提升 360 度图像的质量，并在虚拟物体插入场景上取得了具有感知自然性的结果。

    Mar, 2022

  • 利用全向图像完善技术提高新视角合成质量

    本文介绍了一种基于神经辐射场（NeRF）的方法，用于从单个 360 度 RGB-D 图像合成新景象，并利用 2D 图像生成模型，最大权重独立集问题和模拟退火等算法，以优化生成的图像。

    Mar, 2022

  • Dream360: 基于 Transformer 的多样化沉浸式室外虚拟场景创建的 360 图像拓展

    提出了一种基于变换器的 360 图像扩充框架 Dream360，可以从用户选择的视口生成多样、高保真、高分辨率的全景图，考虑了 360 图像的球面特性，并通过两个关键学习阶段（基于 Spherical-VQGAN 的编码本全景扩充和新颖的频率感知细化）实现了更大的扩充灵活性和保真度。

    Jan, 2024

  • OmniSCV：一种面向计算机视觉的全向合成图像生成器

    我们提出了一个工具，用于生成具有语义和深度信息的全向图像数据集。这些图像是从采集于虚拟环境中的捕捉集合中合成的，能够提供像素级的关于语义、深度以及摄像头的校准参数的信息，从而为机器学习算法的训练和三维视觉方法的测试提供了像素精度的真实信息。

    Jan, 2024

  • 从少量未注册的超广角图像生成 360 度全景

    使用一种称为 PanoDiff 的新型方法，通过使用一个或多个未注册的 Narrow Field-of-View (NFoV) 图像，高效地生成完整的 360° 全景图，该方法通过两个主要组件来克服以往方法中的局限性，包括两阶段的角度预测模块和一种基于潜在扩散的全景生成模型，实验表明 PanoDiff 实现了最先进的全景生成质量和高可控性，适用于内容编辑等应用。

    Aug, 2023

  • OPDN: 全向位置感知变形网络用于全向图像超分辨率

    本文提出了一种两阶段的 360 度全向图像超分辨率框架，利用全向位置感知可变形块（OPDB）和傅里叶上采样，以及空间频率融合模块（SFF）来增强 360 度全向图像的特征提取和高频信息，通过像素解交错操作和数据的收集和处理，该方法在 NTIRE 2023 挑战中的成绩卓越。

    Apr, 2023

  • AIGCOIQA2024: AI 生成全方位图像的感知质量评估

    建立了一个名为 AIGCOIQA2024 的大规模 AI 生成全景图像 IQA 数据库，并构建了一个综合基准，以评估最先进的 IQA 模型在该数据库上的性能。

    Apr, 2024

  • 球形视觉 Transformer 用于 360 度视频显著性预测

    提出了一个基于视觉转换器的新型全景视频模型 SalViT360，利用切线图像表示，在球面几何感知的时空自注意机制方面提出了一种有效的全景视频理解方法，并引入了一种基于一致性的无监督正则化项以减少 360 度密集预测模型中逆投影之后出现的伪影，实验证明了该方法在三个全景视觉显著性数据集上的有效性超过了现有技术。

    Aug, 2023

  • 360VOT：一种新的全向视觉目标跟踪基准数据集

    本文研究探索了如何利用 360° 图像进行视觉目标的追踪，并介绍了由于大变形、拼接伪影和其他独特属性所带来的新挑战。为了解决这些问题，文中提出了一种新颖的目标定位表示方式 —— 边界视野，并引入了一个通用的 360° 追踪框架，该框架可以用于全向追踪。此外，为了促进未来的研究，作者提出了一个新的大规模全向追踪基准数据集 ——360VOT，其中包含 120 个不同场景中的序列，共有 113K 个高分辨率的等距投影帧。追踪目标涵盖 32 个类别。另外，作者还提供了 4 种无偏的基准数据，包括（旋转的）边界框和（旋转的）边界视野，并提出了适用于 360° 图像的新度量标准，以便对全向追踪性能进行准确评估。最后，作者还对 20 种最先进的视觉追踪算法进行了广泛评估，并为未来的比较提供了新的基准。

    Jul, 2023

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022