根据人才定制的教学:通过提示池和深度任意约束进行恶劣天气恢复
提出了一种新颖的框架RAHC,用于恢复复杂的天气情况下的图像,同时建立了一个新的数据集 HAC,用于学习和基准测试不同的天气条件下的图像恢复方法。
May, 2023
MetaWeather是一种针对任意天气条件的少样本天气恢复方法,通过匹配新天气条件下输入图像和示例图像之间的特征,利用元学习构建元知识以提供灵活的适应性,并通过参数高效的微调方法来避免过拟合问题。在BID Task II.A数据集上的实验表明,与最先进的图像恢复方法相比,我们的方法在峰值信噪比和结构相似性方面取得了最佳性能。
Aug, 2023
我们提出了WeatherDepth,这是一个自监督的鲁棒深度估计模型,使用课程对比学习来应对复杂天气条件下性能下降的问题。通过逐步从晴朗到恶劣天气场景的简单到复杂的课程调整,鼓励模型逐渐掌握抵抗天气影响的有益深度线索,从而实现更平滑和更好的域适应。同时,我们在不同课程中引入对比学习,以防止模型遗忘先前的课程,并在不同课程之间建立深度一致性约束,从而实现对多样天气条件下鲁棒深度估计的目标。此外,为了减少人工干预并更好地适应不同模型,我们设计了一个自适应课程调度器,自动搜索最佳的课程切换时机。在实验中,我们的解决方案被证明可以轻松应用于各种架构,并在合成和真实天气数据集上展现了最先进的性能。
Oct, 2023
提出了一种利用预训练视觉-语言模型增加多样化的天气特定知识,并基于描述生成退化指导的语言驱动修复框架,通过选择修复专家来自适应地学习天气特定和共享知识,以应对不同的天气条件。实验证明性能优越。
Dec, 2023
开发了一种面向实际应用的新型连续学习框架,用于不断学习从不同恶劣天气中提取图像,通过知识回放和共享在统一网络结构中积累了不同恶劣天气的知识。
Mar, 2024
我们在视频中引入了测试时适应性,并提出了首个将测试时适应性整合到迭代扩散反转过程中的框架,在训练阶段,我们设计了一个基于扩散的网络和一种新颖的时间噪声模型,以高效地探索退化视频剪辑中的帧相关信息,在推理阶段,我们引入了一个名为扩散管道自校准的代理任务,学习测试视频流的引物分布,并通过近似时间噪声模型进行在线适应,实验结果表明,我们的测试时适应性方法与基于扩散的网络(Diff-TTA)在恢复受到已知天气条件影响的视频方面优于最先进的方法,其在合成和实际世界视频中对未知天气条件的普适能力也得到了验证。
Mar, 2024
通过上下文为基础的实例级调制和对比学习,提出了一种用于训练混合数据集模型的创新算法CoIC,以提高卷积神经网络和Transformer模型的去雨能力。
Apr, 2024
本研究解决了恶劣天气图像恢复方法在真实场景应用时受到的合成数据训练的限制。通过基于视觉语言模型的半监督学习框架,我们能在多样的恶劣天气条件下提升恢复性能,主要通过真实数据来评估清晰度和提供语义信息,取得了比现有先进技术更优的恢复结果。
Sep, 2024
本研究解决了在内存受限设备上多天气图像恢复中的数据获取困难问题。论文提出了一种新颖的无数据蒸馏框架D4IR,该框架使用预训练的扩散模型替代GAN以避免模型崩溃,并通过退化感知提示适配器生成领域相关图像。实验表明,所提方法的性能与使用原始训练数据蒸馏的模型相当,甚至优于其他主流的无监督方法。
Sep, 2024
本研究针对现有恶劣天气去除方法主要针对特定天气类型且依赖大量标注数据的局限性,提出了一种新颖的半监督全方位恶劣天气去除框架SemiDDM-Weather,基于教师-学生网络和去噪扩散模型。通过引入质量评估和内容一致性约束,优化伪标签输出,实验结果表明该框架在视觉质量和恶劣天气去除效果上超越了完全监督的方法,展现了重要的应用潜力。
Sep, 2024