Jun, 2024

Any360D: 利用无标签的 360 数据和 Möbius 空间增强实现全景深度

PDF
TL;DR在 360 图像方面，通过建立一个新的评估基准和提出一种半监督学习框架，我们展示了一个称为 Any360D 的新 360 深度建模方法的有效性，它在不同场景下具有令人印象深刻的零样本能力。
depth anything model360 imagesbenchmarksemi-supervised learningspatial transformations
发现论文，激发创造
  • 深度无处不在：通过透视蒸馏和无标签数据增强提升 360 度单目深度估计

    360 度图像的深度估计是虚拟现实、自主导航和沉浸式媒体应用中至关重要的，本研究提出了一种使用未标记 360 度数据的深度估计框架，通过六面立方体投影技术生成伪标签来高效标注 360 度图像的深度，并在深度估计的准确度上展示了显著改进，特别是在零样本情况下。

    Jun, 2024

  • 深度万象：释放大规模未标记数据的潜力

    这项工作提出了 Depth Anything，一种非常实用的鲁棒单眼深度估计解决方案。我们通过设计一个数据引擎来扩大数据集，收集并自动注释了大规模的未标记数据（约 62M），从而显著增加了数据覆盖范围，并能够减少泛化误差。我们调研了两种简单而有效的策略，可使数据扩展变得有希望。其次，我们开发了一种辅助监督方法，以强制模型从预训练的编码器中继承丰富的语义先验知识。通过在多个公共数据集和随机捕获的照片上广泛评估其零 - shot 功能，表明了其令人印象深刻的泛化能力。此外，通过使用来自 NYUv2 和 KITTI 的度量深度信息对其进行微调，我们建立了新的 SOTA。我们更好的深度模型还导致了更好的深度条件控制网络。

    Jan, 2024

  • 360° 突出物体检测中的失真感知 Transformer

    通过引入两个变形自适应模块和学习关系矩阵，我们提出了一种基于 Transformer 的模型 (DATFormer) 来解决 360° 数据投影导致的特征失真问题，并在三个公开数据集上的实验中证明了该模型在 2D 和 360° 突出物检测任务上的优越性。

    Aug, 2023

  • Anything-3D: 面向野外的单视角任意物体重建

    本文提出了 Anything-3D 框架，采用了一系列视觉语言模型和 Segment-Anything 对象分割模型来实现从单个 RGB 图像到 3D 重建的任务，并通过实验验证了其有效性和可靠性。

    Apr, 2023

  • Polyp-DAM: 基于深度任意模型的息肉分割

    本文通过利用深度先验的方式，使用大规模模型和卷积神经网络对息肉图像进行分割，在实验证明了该方法的有效性，并观察到该方法在含有噪声的息肉图像上仍表现良好。

    Feb, 2024

  • 分段和深度感知模型的视觉语言理解

    该研究介绍了一种开创性的统一库，利用深度模型和分割模型来增强语言 - 视觉模型的零 - shot 理解能力，通过分割和深度分析在符号实例水平上的融合，提供给语言模型细致入微的图像输入，显著推动了图像解释的进展，该库在野外真实图像的多个领域得到验证，展示了通过神经 - 符号一体化整合视觉和语言分析的新途径，为未来研究开启了新方向。

    Jun, 2024

  • 360 度可学习代价卷积的立体深度估计

    提出一种新的神经网络架构，用于解决 360° 图像中的球面视差问题，并通过学习可移位滤波器构建代价体积以缓解失真问题，实验结果表明其对现有算法具有较好的鲁棒性和准确性。

    Nov, 2019

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 深度任何事物 V2

    本研究介绍了 Depth Anything V2，通过使用合成图像替代真实标注图像，提升教师模型的容量，并通过大规模伪标注真实图像来教授学生模型，成功构建了效率更高、准确性更好的多种规模深度估计模型，并构建了通用的评估基准，以促进未来的研究。

    Jun, 2024

  • 单一相机的 360 度视角：用于 LiDAR 分割的少样本方法

    我们提出了 ImageTo360，一种有效且简化的少样本标签高效 LiDAR 分割方法，利用图像教师网络在单个摄像机视角下为 LiDAR 数据生成语义预测，并使 LiDAR 分割学生网络进行预训练，从而改进了当前标签高效方法的结果并超越了一些传统的全监督分割网络。

    Sep, 2023