Dec, 2023

基于稳健 DINO 特征的多任务图像修复

PDF
TL;DR我们引入 DINO-IR，一种新颖的多任务图像修复方法，利用从 DINOv2 提取的稳健特征，通过使用浅层特征捕捉低级图像特征、深层特征保证鲁棒语义表征且不敏感于退化、并使用专门的组件进行特征集成，包括多层语义融合模块、DINO-Restore 调适与融合模块以及 DINO 感知对比损失，该方法在各种任务上优于现有的多任务图像修复方法，凸显了增强鲁棒特征对于多任务图像修复的优越性和必要性。
multi-task image restorationdino-irdinov2semantic representationrestoration paradigm
发现论文，激发创造
  • Restorer: 使用一组参数解决多个图像恢复任务

    通过 Transformer 网络 Restorer，我们设计了一种综合有效的解决方案，能够在去雨、去雪、去雾、去模糊等多种图像修复任务中展现国际领先或可比较的性能，并且在推理时速度更快。

    Jun, 2024

  • DRM-IR: 全能图像恢复的任务自适应深度展开网络

    该研究提出了一种基于动态参考建模范式的高效 All-In-One 图像复原方法，该方法采用一对相互纠缠的基于参考的最大后验概率推断，实现任务自适应的降噪建模和模型图像还原，同时提供了显式的灵活性和可解释性。

    Jul, 2023

  • 实现有效的多合一图像恢复：一种顺序和迅速学习策略

    本研究探讨了多个任务的图像恢复问题，提出了解决不同目标优化和适应性的策略，即顺序学习和提示学习，在 19 个测试集上得出了这些策略能够显著提高普通 CNN 和 Transformer 模型的综合性能，为训练具有更高泛化能力的图像恢复模型提供了新的理论和方法。

    Jan, 2024

  • 动态预训练：高效可扩展的一体化图像恢复

    通过 DyNet 动态网络设计的全能图像恢复任务模型，结合权重共享机制和动态预训练策略，在图像去噪、去雨和去雾等多种任务上取得了最新的成果，同时比基准模型减少 31.34% 的 GFlops 与 56.75% 的参数。

    Apr, 2024

  • 一种全方位的多降级图像恢复网络基于层次化降级表示

    我们提出了一种全能多退化图像恢复网络 (AMIRNet)，通过聚类逐步构建树状结构，学习未知退化图像的退化表示，并利用特征转换模块 (FTB) 弥补领域差异，从而实现从各种未知失真中恢复高质量图像的目标。

    Aug, 2023

  • 关于医学图像分析的通用视觉基础模型：基于 DINOv2 的放射学基准实验研究

    本研究全面评估了基于自学习的 DINOv2 模型在放射学领域的应用，通过超过 100 个实验在不同模态下进行疾病分类和器官分割等任务，发现 DINOv2 在分割任务中表现优越，在疾病分类中具有竞争力的结果。这些发现为优化医学影像的预训练策略和加强 DINOv2 在自然图像与放射图像分析之间的桥梁作用提供了深入的见解。

    Dec, 2023

  • 通用影像编码器 DINOv2 用于医学影像配准

    利用一种训练免费的图像编码器，本文介绍了一种新的变形图像配准方法 DINO-Reg，并在医学图像配准领域中取得了第一名的成绩。这是将通用视觉基础模型应用于医学图像配准的首次尝试。

    Feb, 2024

  • AnomalyDINO：使用 DINOv2 提升基于补丁的少样本异常检测

    本文探讨了高质量的可视特征是否足以与现有的最先进的视觉语言模型竞争，并通过将 DINOv2 适应于一次性和少量次数的异常检测来证实这一点，重点放在工业应用上。我们表明这种方法不仅能与现有技术竞争，而且在许多情况下甚至能胜过它们。我们提出的仅视觉方法 AnomalyDINO 基于补丁相似性，能够实现图像级别的异常预测和像素级的异常分割。该方法在方法论上简单且无需训练，因此无需额外的数据进行微调或元学习。尽管简单，但 AnomalyDINO 在一次性和少量次数的异常检测方面取得了最先进的成果（例如，将 MVTec-AD 上的一次性性能从 93.1％的 AUROC 提升至 96.6％）。降低的开销以及出色的少量次数性能使 AnomalyDINO 成为快速部署的有力候选，例如在工业环境中。

    May, 2024

  • 医学影像分类中 ImageNet 预训练深度学习模型与 DINOv2 的比较分析

    DINOv2 对于临床数据的性能较 ImageNet 预训练模型较弱，但在公共数据集中表现出色，尤其是在使用冻结机制时。小型化的 DINOv2 模型在不同任务中表现相似，适用于医学图像分类任务并节省资源。

    Feb, 2024

  • DINO-Mix: 优化视觉地点识别的基础视觉模型和特征混合

    通过利用 DINOv2 模型作为骨干网络对图像进行修剪和微调以提取鲁棒的图像特征，我们提出了一种名为 DINO-Mix 的新颖的 VPR 架构，通过基础视觉模型的强大图像特征提取能力和基于 MLP-Mixer 的特征聚合模块，实现全局鲁棒和可泛化的特征描述，从而实现高精度的 VPR。我们的实验证明，所提出的 DINO-Mix 架构显著优于当前最先进的方法，在具有光照变化、季节变化和遮挡的测试集上，分别达到了 91.75%、80.18% 和 82% 的 Top-1 准确率。与最先进的方法相比，我们的架构平均准确率提高了 5.14%。

    Nov, 2023