语义引导的零样本低光图像 / 视频增强
当前,低光条件给机器认知带来了重大挑战。本文提出了一种利用零参考低光增强方法改善下游任务模型性能的策略,通过利用丰富的视觉 - 语言 CLIP 先验来改进零参考低光增强方法,避免了对配对或非配对正常光数据的收集工作,并证明了不需要正常光数据的学习提示可以改善图像对比度,减少过度增强和噪声过放大。另外,通过零样本开放式词汇分类利用 CLIP 模型进行语义指导,优化低光增强以提高任务性能而非人类视觉感知。通过大量实验结果显示,所提出的方法在各种数据集上都取得了一致的改进效果,并将其与最先进的方法进行比较,展示了在各种低光数据集上的有利结果。
May, 2024
我们研究了一种名为 “Enlighten-Your-Voice” 的多模态增强框架,通过声音和文本命令创新地丰富用户交互,以解决低光场景中可见信息退化对互补信息融合和结果生成的不利影响,并呈现了在无监督零样本情境中引人注目的泛化能力。
Dec, 2023
本文提出了一种新颖的广义零样本学习(GZSL)方法,它对训练期间的未见图像和未见语义向量具有不可知性。通过提出一种视觉实例的低维嵌入来打破视觉 - 语义间隙,并借助一个新的视觉神谕来量化噪声语义数据的影响,以提高准确性。在一系列数据集上用图模型进行推理的实验结果显示,该方法在语义和视觉监督下均明显优于现有技术。
Nov, 2018
通过零样本白天 - 夜晚领域自适应方法,我们在不需要真实低光照数据的情况下,提出了一种增强低光物体检测的方法。我们设计了一个反射率表示学习模块,通过仔细设计的光照不变性增强策略,学习了基于 Retinex 的图像不变性。同时,我们引入了一个互换重组相干步骤,通过进行两次顺序图像重组和引入重组相干损失来改进传统 Retinex 图像分解过程。在 ExDark、DARK FACE 和 CODaN 数据集上进行了大量实验,验证了我们方法的强大低光照普适性。
Dec, 2023
提出了一种基于扩散模型的零参考光估计扩散模型,用于低光图像增强,通过零参考学习成功地弥补了对成对训练数据的依赖,并通过与初始优化网络之间的双向约束实现光照增强。
Mar, 2024
本文针对广义零样本学习任务,提出了一种新颖的语义分离框架,使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量,并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明,由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。
Jan, 2021
ContrastZSD 是一种用于零样本目标检测的基于语义指导对比学习的检测框架,它通过引入显式的语义指导和对比学习机制,来优化模型对未见过类别的认知,同时改善视觉特征结构以实现更好的视觉 - 语义对齐。
Sep, 2021
我们提出了一种用于零样本学习的渐进式语义引导视觉 Transformer(ZSLViT),通过语义嵌入令牌学习改进视觉 - 语义对应关系,发现语义相关的视觉令牌,并且通过弱语义 - 视觉对应关系融合来舍弃与语义无关的视觉信息,从而在零样本学习中实现准确的视觉 - 语义交互作用,我们的 ZSLViT 在 CUB、SUN 和 AWA2 等三个常用基准数据集上取得了显著的性能提升。
Apr, 2024
通过基于理论的光传递的光度无关先验、预训练的生成扩散模型以及轻量级版本,我们提出了一个仅使用正常光图像进行训练的零参考低光增强框架,该框架在多种场景下表现出卓越的优越性、良好的可解释性、鲁棒性和效率。
Mar, 2024
本文提出了一种新的基于语义特征提取的广义零样本学习(SE-GZSL)技术,使用包含仅属性相关信息的语义特征来学习图像和属性之间的关系,从而可以消除由图像特征中包含的与属性无关的干扰信息,通过使用提出的互信息损失和相似性损失函数,证明了该 SE-GZSL 技术在各种数据集中均优于传统的 GZSL 方法。
Dec, 2021