远程感知领域中，缺乏立体匹配以及准确地面真实数据制约了深度神经网络的训练；合成图像作为替代方案缓解了此问题，但面临域泛化问题；结合图像到图像翻译和立体匹配的能力提供了有效解决方案；通过将图像到图像翻译网络和立体匹配网络联合优化，我们提出一种基于边缘感知的生成对抗网络，同时有效解决了两个任务；通过 Sobel 算子获取输入图像的边缘图像，并将其作为编码器的额外输入，以在翻译过程中强制保持几何一致性；此外，通过计算翻译图像的变形损失来维持立体一致性；我们证明了我们的模型比现有模型产生了更好的定性和定量结果，并且其适用性扩展到包括自动驾驶在内的各种领域。

Apr, 2024

提出一种利用半监督方法，在图像的着色和反照率层上操作，训练半监督网络用于图片合成，该方法可以有效提高 OpenGL 渲染等低质量合成图像的视觉逼真度。该方法通过两个阶段的管道来实现，即首先以物理学渲染为目标以有监督的方式预测准确的着色，然后再采用改进的 CycleGAN 网络进一步提高纹理和着色的逼真度。 在 SUNCG 室内场景数据集上进行的广泛评估表明，与其他最先进的方法相比，我们的方法可以产生更逼真的图像。此外，我们所生成的 “真实” 图像训练出的网络比领域适应方法预测出更精确的深度和法线，这表明提高图像的视觉逼真度可以比强加任务特定的损失效果更良好。

Mar, 2020

本文提出了一种使用真实图像来训练、无需 3D 场景真值信息，通过可微分点云渲染器将潜在 3D 特征点云转换为目标视图输出图像，并通过细化网络解码来填补缺失区域的新型端到端模型，在测试时可以对潜在特征空间进行可解释的操作，可以生成高分辨率图像并推广到其他输入分辨率，将在 Matterport、Replica 和 RealEstate10K 数据集上优于基线和之前的工作。

Dec, 2019

本文提出一种自监督学习的新训练策略，通过图像转换网络实现在合成和真实领域之间的域不变表示学习，从而提高单张图像深度估计在现实世界中的泛化能力。实验结果表明，该方法在 KITTI 和 Make3D 数据集上均优于现有技术。

Jun, 2021

基于 3D 合成环境和 CycleGAN 域转换的数据生成方法与常见的 NYUDepth V2 数据集相比，通过使用不同的真实和模拟数据集训练基于 DenseDepth 结构的深度估计模型，我们评估了模型在新采集的图像和 Husky 机器人的 LiDAR 深度数据上的性能，证明了 GAN 转换的数据在深度估计中可以作为有效的替代真实世界数据的方法。

May, 2024

通过注意力模块，学习识别和去除真实图像中的困难部分，以提高合成数据训练的模型对真实图像的景深估计。

Feb, 2020

本研究提出了一种端到端的域翻译和立体匹配网络训练框架，通过引入双向多尺度特征重投影损失和相关性一致性损失等两个新颖的损失函数来提高合成立体图像到真实图像的转换效果以及维护单应约束，实验证明进行域翻译和立体匹配网络联合优化能够有效地解决合成数据集所引入的领域偏差问题，从而实现更准确的立体匹配。

May, 2020

提出了一种基于变换的图像生成网络，能够从单张图片中合成新的 3D 视图，并采用用组合的对抗和感知损失的训练方法，成功地减少了失真和图像中的缺陷，并保留了图像的视觉细节等特征。

Mar, 2017

本文提出了一种新的方法，利用两个深度网络堆栈来解决单张图像深度估计的问题，并应用尺度不变误差来测量深度关系，通过利用原始数据集作为大量训练数据，方法在 NYU Depth 和 KITTI 上实现了最先进的结果。

Jun, 2014

提出一个名为 TiO-Depth 的两合一自监督深度估计网络，能同时处理单目和双目深度估计任务，并提高预测准确度。TiO-Depth 采用 Siamese 架构，其中每个子网络可用作单目深度估计模型。对于双目深度估计，提出了一个单目特征匹配模块，用于融合两个图像之间的立体知识，并使用完整的 TiO-Depth 来预测深度。通过结合它们的相对优势，设计了一个多阶段联合训练策略，以提高 TiO-Depth 在两个任务中的性能。在 KITTI、Cityscapes 和 DDAD 数据集上的实验结果表明，TiO-Depth 在大多数情况下优于目前最先进的单目和双目方法，并进一步验证了使用两合一网络进行单目和双目深度估计的可行性。

Sep, 2023