循环场景解析，带透视理解循环

May, 2017

Recurrent Scene Parsing with Perspective Understanding in the Loop

Shu Kong, Charless Fowlkes

TL;DR提出了一种深度感知门控模块，根据物体尺度自适应选择卷积神经网络中的池化字段大小，结合立体视差或单目输入估计的深度开启门控信号，用于语义分割和深度估计，实验结果表明，本方法在四个大规模 RGB-D 数据集上具有竞争性的语义分割性能，并取得了最先进的单目深度估计结果。

Abstract

Objects may appear at arbitrary scales in perspective images of a scene, posing a challenge for recognition systems that process images at a fixed resolution. We propose a depth-aware gating module that adaptively selects the pooling field size in a convolutional network architecture a

depth-aware gating module convolutional neural network semantic segmentation depth estimation state-of-the-art results

发现论文，激发创造

语义场景完成的三维门控循环融合

本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

Feb, 2020

具有隔离 - 聚合门的 RGB-D 语义分割的双向跨模态特征传播

本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

Jul, 2020

面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

Aug, 2023

门控立体：基于门控和宽基线主动立体线索的联合深度估计

该研究提出了一种基于主动门控立体图像的高分辨率和长距离深度估计技术 - Gated Stereo，该技术利用主动和高动态范围的被动捕获，利用多视图线索以及来自主动门控的飞行时间强度线索。其中，该研究提出了一种通过单目和立体深度预测分支组合的深度估计方法，并且每个块都通过监督和门控自监督损失进行监督，并为汽车场景获取了一种长距离同步门控立体数据集。该方法的性能比最佳 RGB 立体方法提高了 50％以上的 MAE，并比现有的单目门控方法在距离 160 米内的距离范围内提供了 74％的 MAE。

May, 2023

RM-Depth：动态场景下基于循环结构的单目深度非监督学习

该论文提出了一种无监督学习框架，通过使用逐步的递归调整和融合编码器和解码器特征来提高单张图像的深度推断，并使用多组滤波器用于残差上采样来学习保持边缘的滤波，使用基于自运动恢复的网络来估计移动对象的移动场，并进一步通过采用鲁棒训练损失对模型中参数的使用进行优化，该模型结构只使用单张图像在测试时间中，模型参数仅有 2.97 百万个，但却在 KITTI 和 Cityscapes 基准测试中实现了最先进的结果。

Mar, 2023

STD2P: 利用时空数据驱动池化进行 RGBD 语义分割

提出了一种新颖的基于超像素的多视角卷积神经网络，通过利用同一场景的其他视角信息生成单个图像的高质量分割，并且利用光流和基于图像边界的超像素计算区域对应关系，提出了一种新颖的时空池化层对空间和时间信息进行聚合，实现对图像的分割。经过对 NYU-Depth-V2 数据集和 SUN3D 数据集的评估，与各种单视图和多视图方法相比，不仅有严格的改进，同时也表明在多视图和单视图预测时利用标记帧的好处。

Apr, 2016

从大到小：多尺度局部平面引导单目深度估计

本文介绍了一种网络架构，利用位于解码阶段多个阶段的新型本地平面指导层来更有效地引导密集编码特征以进行所需的深度预测，并在具有挑战性的基准测试中通过消融研究证明所提出的方法优于最先进的作品。

Jul, 2019

SOSD-Net: 单目图像联合语义物体分割和深度估计

通过引入语义物体性概念分析成像过程，本文提出了一种基于物体性假设的语义物体分割和深度估计网络（SOSD-Net），并采用期望最大化算法的迭代思想更有效地训练该网络，实验结果表明该方法具有卓越的性能。

Jan, 2021

Veritatem Dies Aperit- 一种基于多任务几何和语义场景理解的时域一致深度预测方法

本文提出了一种基于多任务学习的方法，能够联合进行几何和语义场景理解，包括单眼深度估计、深度补全和语义场景分割，通过一个时间上连续受限的循环网络，利用一系列复杂的跳跃连接、对抗性训练和顺序帧重复的时间限制同时产生一致的深度和语义类标签，大量实验评估表明相比其他当代最先进的技术，本方法的有效性。

Mar, 2019

无监督单目深度预测的双向循环约束和自适应正则化

使用几何方法和立体图像训练卷积神经网络可以在单张图片中预测场景深度，性能优于最先进的无监督单目深度预测方法，并适用于不同数据集。

Mar, 2019