Aug, 2024

基于语言驱动的互动阴影检测

HTML
PDF
TL;DR本研究解决了传统阴影检测方法在动态视频场景中无法精确检测特定阴影区域的问题。提出了一种创新的Referring Video Shadow Detection (RVSD)任务，通过自然语言提示实现对阴影的灵活分割和用户交互，开辟了视频编辑和虚拟现实等广泛应用的可能。实验结果表明，所提出的Referring Shadow-Track Memory Network (RSM-Net)在这一任务上达到了最先进的性能。
发现论文，激发创造
  • 基于方向感知的空间背景特征用于阴影检测和去除

    本文提出了一种基于深度神经网络和方向感知注意机制的阴影检测和去除方法，并提供了相应的实验和对比结果。

    May, 2018

  • 三元协同视频阴影检测

    本文介绍了一个用于动态场景下阴影检测的新视频数据集ViSha，并在此基础上开发了一种新型模型TVSD-Net，该模型通过三个并行网络的协同学习来提高单一视频和不同视频之间的判别表示，以及利用辅助相似性损失来挖掘不同视频之间的语义信息。实验表明，该模型在阴影检测方面优于SOTA竞争对手。

    Mar, 2021

  • 从自上而下的视角重新思考跨模态交互，用于指代视频对象分割

    该研究提出了一种基于 Transformer 的两阶段自顶向下 Referring video object segmentation 解决方案，其中构建了一组详尽的对象 tracklets，并提出了一种 Transformer-based tracklet-language grounding 模块，模型在 CVPR2021 Referring Youtube-VOS 挑战赛上排名第一。

    Jun, 2021

  • 视频阴影检测的时间特征扭曲

    本文提出了一种基于光流变形模块和深度网络层的信息检索方法，来更好地聚合时间信息，以提高视频阴影检测的性能，在ViSha数据集上测试表明模型的BER从16.7降低到12.0，且优于当前最先进的视频阴影检测方法28％。

    Jul, 2021

  • 多模态变换器的端到端指代视频对象分割

    本文提出了一种名为Multimodal Tracking Transformer（MTTR）的基于Transformer的方法来实现referring video object segmentation（RVOS）任务，该方法将视频和文本结合起来处理，不依赖于复杂的流水线，并且在标准基准测试中显著优于以前的方法。

    Nov, 2021

  • 学习阴影对应以进行视频阴影检测

    介绍了一个新的视频阴影检测方法 SC-Cor，通过加强阴影区域的像素级相似性来提高帧之间的一致性，并且不需要强制对应标签。此外，该方法考虑了阴影区域内部的可分离性，易于与现有算法集成，且实验结果表明其性能比先前的最优方法更好。

    Jul, 2022

  • 检测任意阴影：视频阴影检测中的物体分割

    本研究使用少量的用户协助，利用阴影数据和稀疏提示对Segment anything model进行微调，再结合长短期注意机制扩展其能力，使其可以用于视频阴影检测，与现有技术相比，实验结果表明，该方法在 MAE 和 IoU 方面分别提高 17.2% 和 3.3%，验证了我们提出方法的有效性。

    May, 2023

  • 利用视觉语言预训练模型驱动参考视频对象分割

    该研究提出了一种名为VLP-RVOS的框架，通过使用先前训练的Vision-Language Pre-trained (VLP)模型的对齐VL特征空间，解决了Referring Video Object Segmentation (RVOS)中的转移挑战。该方法通过引入一种时间感知的prompt-tuning方法和多阶段VL关系建模，以及自定义的立方体帧注意力机制进行综合的VL理解和空时推理，实验证明该方法优于现有算法并具有强大的泛化能力。

    May, 2024

  • 时间线和边界引导的扩散网络用于视频阴影检测

    本研究旨在解决现有视频阴影检测（VSD）方法在时间学习上的低效问题，并考虑阴影的边界特征。我们提出了一种时间线和边界引导的扩散网络（TBGDiff），通过双尺度聚合模块和阴影边界感知注意力机制，结合时间引导和边界信息进行阴影检测。实验证明，我们的方法在性能上超过了当前最先进的技术，展示了其设计的有效性。

    Aug, 2024

  • 揭示深层阴影：深度学习时代图像和视频阴影检测、去除与生成的综述

    本研究针对计算机视觉中的阴影检测、去除与生成问题，填补了过去十年相关文献的空白。文章通过综合调查深度学习领域中的阴影分析，制定实验比较标准，探索模型规模、速度与性能之间的关系，识别开放问题及未来研究方向，为后续研究提供了公共资源支持。

    Sep, 2024