引导注释的反射分离
本文提出使用对象语义作为指导力量,强制将相同对象分配到同一层次来解决玻璃窗后的图像反射问题,并在不同数据集上进行了实验证明该方法的显著性能优势及其在计算机视觉任务中的应用。
Jul, 2019
本文讨论了单幅图像去反射问题的不确定性,提出了一种基于灵活交互的去反射方法,利用稀疏人工引导作为辅助高级先验,通过转化人工输入形式并设计掩码引导的去反射网络,实现了在各种数据集上具有领先性能的反射去除。
Jun, 2024
本文提出了一种基于多视角真实图像训练的无监督方法,将物体外观分解为高光、阴影和漫反射层,使用局部颜色分布的图像表示进行训练,在高亮度分离和内在图像分解两种任务上取得了最新的成果。
Nov, 2019
本文研究了语言引导的反射分离问题,通过引入语言描述以提供层次内容,解决了反射分离问题。我们提出了一个统一的框架来解决这个问题,该框架利用交叉注意力机制和对比学习策略构建语言描述和图像层之间的对应关系。采用门控网络设计和随机训练策略来处理可识别层的模糊性。基于定性和定量比较验证了所提方法相对于现有的反射分离方法的显著性能优势。
Feb, 2024
本文提出了一种新颖的无监督内在图像分解框架,不依赖于标记的训练数据和手工制作的先验。通过探索反射和阴影之间的独立性、域不变内容约束和物理约束,直接从无监督和不相关的数据中学习反射和阴影的潜在特征。在合成和实际图像数据集上的广泛实验表明,所提出的方法具有一致的卓越性能。
Nov, 2019
基于对现有模型弱点的调查,我们提出了一种更一般的叠加模型,引入可学习的残差项,可以有效地捕捉分解过程中的剩余信息,引导分离层的完整性。为了充分利用其优势,我们还精心设计了网络结构,包括新颖的双流交互机制和具有语义金字塔编码器的强大分解网络。通过大量实验证明,在多个真实世界基准数据集上,我们的方法优于现有技术。我们的代码公开可用于此 https 网址。
Aug, 2023
本文提出了一种创新的两阶段方法,用于从稀疏视图图像重建人脸,该任务由于每个个体的独特几何和复杂皮肤反射而具有挑战性。我们的方法专注于从环境光中分解关键的面部属性,包括几何、漫反射和镜面反射。开始时,我们从多样化的个体脸部图像集创建一个通用的面部模板,捕捉关键的几何和反射特征。在第二阶段,我们在该模板的指导下对每个具体的人脸模型进行细化,进一步考虑几何和反射之间的相互作用,以及对面部皮肤的次表面散射效应。我们的方法能够从仅有的三幅图像中重建出高质量的面部表示,提供了改进的几何准确性和反射细节。通过全面的评估和比较,我们的方法表现出优越性,有效解离几何和反射成分,提高了合成新视图的质量,为再照明和反射编辑等应用开辟了可能。我们将代码公开可用。
Dec, 2023
我们提出了一种基于学习的方法来消除从移动相机拍摄的短序列图像中的不需要的干扰物,例如窗户反射,栅栏遮挡或附着的雨滴。我们的方法利用背景和阻挡元素之间的运动差异来恢复两个图层,并在估计两个层的密集光流场和通过深度卷积神经网络从流场变形的图像重建每个层之间进行交替。通过学习的重建模块有助于适应流量估计和脆弱假设(例如亮度一致性)中的潜在错误。我们显示,该方法在从合成数据中学习后对真实图像具有很好的表现。在许多具有挑战性的反射和围栏移除情况下进行的实验结果证明了该方法的有效性。
Aug, 2020
本文介绍了一种自导扩散模型的方法,它可以利用自我监督信号来提供图像生成的指导,而无需大量的图像注释对。通过结合特征提取功能和自注释功能,我们的方法可以为各种图像颗粒度提供指导信号,从整体图像到对象框甚至分割掩模。我们的实验表明,我们的方法在单标签和多标签图像数据集上总是优于无指导的扩散模型,甚至可能超过基于基础真实标签的指导,特别是在不平衡数据上。
Oct, 2022