时间线和边界引导的扩散网络用于视频阴影检测
本文提出了一种基于CNN学习的阴影区域恢复框架,利用阴影边缘的本地结构和图像区域的复杂交互来计算阴影 / 明亮度量,进而通过最小二乘优化问题进行阴影恢复,实现了在不同条件下收集的主要阴影基准数据库上的最先进结果。
May, 2015
本文介绍了一个用于动态场景下阴影检测的新视频数据集ViSha,并在此基础上开发了一种新型模型TVSD-Net,该模型通过三个并行网络的协同学习来提高单一视频和不同视频之间的判别表示,以及利用辅助相似性损失来挖掘不同视频之间的语义信息。实验表明,该模型在阴影检测方面优于SOTA竞争对手。
Mar, 2021
本文提出了一种基于光流变形模块和深度网络层的信息检索方法,来更好地聚合时间信息,以提高视频阴影检测的性能,在ViSha数据集上测试表明模型的BER从16.7降低到12.0,且优于当前最先进的视频阴影检测方法28%。
Jul, 2021
本研究提出了基于自注意力机制的视频阴影检测模块(SODA)和基于对比学习的阴影表示学习机制(SCOTCH),经实验证明两种方法均在视频阴影检测任务中取得了优异的性能表现。
Nov, 2022
本研究使用少量的用户协助,利用阴影数据和稀疏提示对Segment anything model进行微调,再结合长短期注意机制扩展其能力,使其可以用于视频阴影检测,与现有技术相比,实验结果表明,该方法在 MAE 和 IoU 方面分别提高 17.2% 和 3.3%,验证了我们提出方法的有效性。
May, 2023
通过设计了Style-guided Dual-layer Disentanglement Network (SDDNet)来解决当前阴影检测方法中背景颜色对结果的不利影响,并通过Shadow Style Filter (SSF)模块实现特征解缠并改善背景颜色的不利影响,从而提高了模型在三个公共数据集上的性能表现。
Aug, 2023
使用扩散模型进行纹理恢复在解决如何从含有阴影图像中推断出无阴影场景的问题上一直是个具有挑战性的难题。本文提出了使用扩散模型的方法,通过在扩散过程中逐渐细化阴影区域的细节,其中借鉴了具备无阴影图像特征的学习潜在特征空间,从而避免了只基于退化图像的传统方法存在的局限性。此外,我们还提出了通过将噪声特征与扩散网络融合来缓解训练过程中潜在的局部最优问题。我们的方法在AISTD数据集上的RMSE性能较之前的最佳方法提高了13%,在DESOBA数据集上的RMSE性能较之前的最佳方法提高了82%。
Dec, 2023
提出了一种用于去除阴影的基于Transformer的框架,称为ShadowMaskFormer,通过引入阴影信息和改进的patch embedding来提高模型在获取阴影区域知识方面的效果。在ISTD、ISTD+和SRD基准数据集上的实验证明了该方法相对于现有方法在使用更少模型参数的情况下的有效性。
Apr, 2024
本研究解决了传统阴影检测方法在动态视频场景中无法精确检测特定阴影区域的问题。提出了一种创新的Referring Video Shadow Detection (RVSD)任务,通过自然语言提示实现对阴影的灵活分割和用户交互,开辟了视频编辑和虚拟现实等广泛应用的可能。实验结果表明,所提出的Referring Shadow-Track Memory Network (RSM-Net)在这一任务上达到了最先进的性能。
Aug, 2024
本研究针对视频息肉分割领域中的多任务和时间依赖问题,提出了一种新颖的基于扩散模型的网络Diff-VPS。研究显示,通过引入多任务监督和时间推理模块,该方法显著提高了分割精度,实现了当前的最先进性能。
Sep, 2024