Apr, 2024

多视角金字塔变换网络在视频修复检测中的应用

TL;DR本文介绍了一种名为 MumPy 的新型多边时空视图金字塔变换器,提出了一种利用新设计的多边时空视图编码器和可变形窗口时空视图交互模块的方法来灵活地合作处理空间 - 时间线索,以及开发了一个多金字塔解码器来聚合各种特征并生成检测图,通过调整空间和时间线索的贡献强度,我们的方法能够有效地识别修复区域。我们在现有数据集上验证了我们的方法,并且基于 YouTube-VOS 数据集引入了一个新的具有挑战性和大规模的视频修复数据集,该数据集使用了几种更近期的修复方法。结果显示了我们的方法在域内和跨域评估场景中的优越性。