Feb, 2024

语言引导的图像反射分离

PDF
TL;DR本文研究了语言引导的反射分离问题，通过引入语言描述以提供层次内容，解决了反射分离问题。我们提出了一个统一的框架来解决这个问题，该框架利用交叉注意力机制和对比学习策略构建语言描述和图像层之间的对应关系。采用门控网络设计和随机训练策略来处理可识别层的模糊性。基于定性和定量比较验证了所提方法相对于现有的反射分离方法的显著性能优势。
language-guided reflection separationill-posed reflection separation problemunified frameworkcross-attention mechanismcontrastive learning strategies
发现论文，激发创造
  • 语义引导的单张图像去反射

    本文提出使用对象语义作为指导力量，强制将相同对象分配到同一层次来解决玻璃窗后的图像反射问题，并在不同数据集上进行了实验证明该方法的显著性能优势及其在计算机视觉任务中的应用。

    Jul, 2019

  • 基于感知损失的单张图片反射分离

    通过一个全卷积网络，我们提出了一种从单张图像中分离反射图像的方法。我们的方法通过低级别和高级别图像信息的损失函数来进行训练，并包含两个知觉损失、一个对抗损失以及一个像素级别层次分离的排斥损失。我们创建了一个真实世界图像数据集并验证了我们的方法的优越性。同时我们还将方法扩展到了另外两个图像增强任务中。

    Jun, 2018

  • 单张图像反射消除和图像平滑通用深度架构

    本文提出了一种深度神经网络结构，利用边缘信息解决图像分割和图像滤波等代表性的低级视觉任务，通过估计边缘和重建图像，采用级联卷积层排列的方法解决这些具有挑战性的问题，而无需使用专门的手工或应用程序特定的图像处理组件，并将得到的可转移管道应用于两个对边缘敏感的问题领域，单张图像反射去除和图像平滑。

    Aug, 2017

  • 利用不对齐的训练数据和网络增强进行单幅图像反射消除

    本文利用目标网络增强和不对齐数据的新颖用途，解决了单张图像反射去除的困难问题，在含有强烈反射区域的上下文编码模块和对齐不变损失函数的引入下，实现了对真实世界情况的显著改进。

    Apr, 2019

  • 基于位置感知的单张图像反射去除

    本文提出了一种基于位置感知的深度学习单图像去反射新方法，在该网络中，反射检测模块回归一个概率性反射信念图，采用多尺度拉普拉斯特征作为输入，设计了一种递归网络，用于逐步精细调整照射和反射层。

    Dec, 2020

  • 朝着人工引导的灵活互动去除反射

    本文讨论了单幅图像去反射问题的不确定性，提出了一种基于灵活交互的去反射方法，利用稀疏人工引导作为辅助高级先验，通过转化人工输入形式并设计掩码引导的去反射网络，实现了在各种数据集上具有领先性能的反射去除。

    Jun, 2024

  • LAVT：用于参照图像分割的语言感知视觉 Transformer

    本研究提出一种新的方法，在视觉 Transformer 编码器网络的中间层通过对语言和视觉特征进行交叉融合，实现更好的交叉模态对齐，进而通过轻量级的掩模预测器得到准确的分割结果，该方法在 RefCOCO、RefCOCO + 和 G-Ref 数据集上均超越了以往的最优方法。

    Dec, 2021

  • 引导注释的反射分离

    本文研究了利用高斯混合模型片段先验来解决图像分解中面临的逆问题。通过在一个稀疏的补丁集合中选择其中一个模式，自动完成分解。实验结果展示了该方法在合成和实际反射图像中的性能。

    Feb, 2017

  • 基于物理训练图像的单图片反射消除

    本文提出了基于物理渲染的方法，通过 RGBD/RGB 图像确定网格，进行光传输仿真，合成训练数据并在此基础上进行基于深度学习的单张图像反射分离。同时，引入回溯网络模块（BT-net）来去除图像噪点、模糊和偏焦等问题。实验结果表明，相比于现有技术，本文方法在视觉效果和数值优化上都具有明显优势。

    Apr, 2019

  • 语言引导的少样本语义分割

    通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

    Nov, 2023