Mar, 2024
实践中的真知：视频恶劣天气去除的扩散测试时间自适应
Genuine Knowledge from Practice: Diffusion Test-Time Adaptation for Video Adverse Weather Removal
Yijun Yang, Hongtao Wu, Angelica I. Aviles-Rivero, Yulun Zhang, Jing Qin...
TL;DR我们在视频中引入了测试时适应性，并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架，在训练阶段，我们设计了一个基于扩散的网络和一种新颖的时间噪声模型，以高效地探索退化视频剪辑中的帧相关信息，在推理阶段，我们引入了一个名为扩散管道自校准的代理任务，学习测试视频流的引物分布，并通过近似时间噪声模型进行在线适应，实验结果表明，我们的测试时适应性方法与基于扩散的网络（Diff-TTA）在恢复受到已知天气条件影响的视频方面优于最先进的方法，其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。