SCOTCH和SODA:一个Transformers视频阴影检测框架
本文介绍了一个用于动态场景下阴影检测的新视频数据集ViSha,并在此基础上开发了一种新型模型TVSD-Net,该模型通过三个并行网络的协同学习来提高单一视频和不同视频之间的判别表示,以及利用辅助相似性损失来挖掘不同视频之间的语义信息。实验表明,该模型在阴影检测方面优于SOTA竞争对手。
Mar, 2021
本文提出了一种基于光流变形模块和深度网络层的信息检索方法,来更好地聚合时间信息,以提高视频阴影检测的性能,在ViSha数据集上测试表明模型的BER从16.7降低到12.0,且优于当前最先进的视频阴影检测方法28%。
Jul, 2021
本文提出了一种 基于空时插值一致性训练 (STICT) 框架的视频阴影检测方法,使用未标记的视频帧与标记的图像一起训练深度神经网络,通过空间插值和时间插值一致性约束增强像素级别分类任务的泛化性能和鼓励时间连续预测。此外,还提出了一种适用于图像的多尺度的阴影知识学习的 Scale-Aware Network 和稍微有一点尺度一致性约束的测量方法,结果表明,即使没有视频标签,该方法也比大多数现有的监督、半监督或无监督的图像/视频阴影检测方法和相关任务的其他方法更好。
Jun, 2022
介绍了一个新的视频阴影检测方法 SC-Cor,通过加强阴影区域的像素级相似性来提高帧之间的一致性,并且不需要强制对应标签。此外,该方法考虑了阴影区域内部的可分离性,易于与现有算法集成,且实验结果表明其性能比先前的最优方法更好。
Jul, 2022
通过在视频变压器的跨关注点中引入核的角度并应用两种时间平滑核,重新定义流式视频识别模型,拥有常数时间更新每帧的优势,在THUMOS'14和EPIC-Kitchen-100数据集上取得了最新的成果。
Sep, 2022
本研究使用少量的用户协助,利用阴影数据和稀疏提示对Segment anything model进行微调,再结合长短期注意机制扩展其能力,使其可以用于视频阴影检测,与现有技术相比,实验结果表明,该方法在 MAE 和 IoU 方面分别提高 17.2% 和 3.3%,验证了我们提出方法的有效性。
May, 2023
本文提出了一种新的多模态转换器网络,用于检测未修剪视频中的动作,利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性,并提出一种算法来纠正相机运动引起的动态变形,该算法在THUMOS14和ActivityNet两个公共基准测试上优于现有方法,在我们的新教育活动数据集上进行了比较实验,该数据集包括从小学捕捉的大量具有挑战性的课堂视频。
May, 2023
本研究解决了现有阴影检测方法在物体与阴影颜色相似时准确性不足的问题。提出了基于变换器的SwinShadow架构,通过移位窗口机制提升了邻近阴影的检测能力。实验结果表明,该方法在多个阴影检测基准数据集上表现出色,提高了阴影与物体的区分度。
Aug, 2024
本研究旨在解决现有视频阴影检测(VSD)方法在时间学习上的低效问题,并考虑阴影的边界特征。我们提出了一种时间线和边界引导的扩散网络(TBGDiff),通过双尺度聚合模块和阴影边界感知注意力机制,结合时间引导和边界信息进行阴影检测。实验证明,我们的方法在性能上超过了当前最先进的技术,展示了其设计的有效性。
Aug, 2024
本研究针对计算机视觉中的阴影检测、去除与生成问题,填补了过去十年相关文献的空白。文章通过综合调查深度学习领域中的阴影分析,制定实验比较标准,探索模型规模、速度与性能之间的关系,识别开放问题及未来研究方向,为后续研究提供了公共资源支持。
Sep, 2024