PS-Transformer: 使用自注意机制学习稀疏光度立体网络

Nov, 2022

PS-Transformer: 使用自注意机制学习稀疏光度立体网络

PS-Transformer: Learning Sparse Photometric Stereo Network using Self-Attention Mechanism

Satoshi Ikehata

TL;DR本文提出了一种深度稀疏校准光度立体网络，命名为 PS-Transformer，它利用可学习的自我关注机制来捕捉复杂的图像之间的相互作用，通过新的合成数据集 CyclesPS + 进行训练，试验结果表明，该算法在表面法线的预测准确性方面明显优于其他现有算法。

Abstract

Existing deep calibrated photometric stereo networks basically aggregate observations under different lights based on the pre-defined operations such as linear projection and max pooling. While they are effective with the dense capture, simple first-order operations often fail to capture the high-order interactions among observations under small number of di

calibrated photometric stereo network ps-transformer self-attention mechanism surface normal prediction accuracy synthetic dataset

发现论文，激发创造

自校准深度光度立体网络

本文提出了一种基于深度学习的非 Lambert 场景无标定光度立体方法，该方法相对于之前依赖于特定反射率和光源分布假设的方法，能够确定未知任意反射率下观察未知变化光照方向的场景的形状和光源方向，通过两阶段的深度学习架构 SDPS-Net 来实现。对合成和实际数据集的实验表明，我们提出的方法明显优于先前的非标定光度立体方法。

Mar, 2019

PS-FCN：一种灵活的光度立体学习框架

本文提出了一个深度卷积网络 PS-FCN，用于快速前向传递预测一个物体的法线图，并可以解决非 Lambertian 表面的光度立体计算问题，可处理多个图像和光照方向，同时具有在校准和非校准场景下的高性能。

Jul, 2018

非 Lambert 表面的深度光学立体成像

本文介绍了一种深度学习方法，解决了光度立体的问题，在已知光照方向的情况下可以处理未知各向同性反射的表面，得出表面法线图；同时还提出了一种新的卷积网络方法以处理光照方向未知的情况。在多个数据集上经过充分的评估，该方法取得了更优秀的结果。

Jul, 2020

CNN-PS: 基于卷积神经网络的非凸面光度立体恢复

本文介绍了一种光度立体网络，该网络直接学习光度立体输入和场景表面法线之间的关系，通过合并所有输入数据到观察映射中，进一步处理无序的任意数量的输入图像，提高旋转伪不变性等训练和预测效果，通过基于物理的渲染器生成的综合光度立体数据集进行训练，能更好地解决非凸表面下的场景光照估计问题。

Aug, 2018

学习图像去雨变换网络 with 动态双自注意力

该论文提出了一种基于 Transformer 的图像去雨算法，结合了密集和稀疏自注意力机制，通过选择最有用的相似性值和空间增强的前馈网络来提高去雨效果。实验证明了该方法的有效性。

Aug, 2023

稀疏视角，近光源：非标定点照明光度立体的实用范式

通过提出一种端到端的非标定多视点 PS 框架，以实现在真实环境中通过稀疏视点获取高分辨率形状的重建，摒弃了黑暗室的假设，并允许静态环境光和动态 LED 光的组合，从而实现了在实验室外轻松捕获数据，并通过实验证实，在稀疏视点情况下超越了现有的基准方法，将高精度三维重建从黑暗室引入到现实世界中，并保持了合理的数据采集复杂性。

Mar, 2024

用于高效非标定深度光学立体成像的神经网络结构搜索

本文利用深度学习技术中的神经结构搜索方法，提出了一种自动化光度立体技术（PS）的方法，通过训练两个独立的网络来实现光度标定和法线估计的最佳匹配，从而达到高精度、低存储的光度立体模型构建。

Oct, 2021

基于 CNN 的近场光度立体问题方法

该研究提出了一种 CNN 基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态 - of-the-art 方法更好的实验效果。

Sep, 2020

基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

Nov, 2022

双目光度立体摄影技术中的神经高度图方法

提出了一种新颖、高度实用的双目光度立体（PS）框架，其采集速度与单视图 PS 相同，但显著改善了几何估计的质量。和最近的神经多视图形状估计方法（如 NeRF、SIREN 和多视图光度立体的反向图形方法）一样，我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异，以及渲染表面强度与观察图像之间的差异，学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先，我们的表面不是用体积表示，而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次，我们使用了学习的 BRDF 并进行了点接近场强度渲染，而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。

Nov, 2023