CVPRApr, 2023

LEMaRT: 标签效率屏蔽区域变换用于图像融合

PDF
TL;DR本文介绍了一种简单而有效的自监督预训练方法，可以利用大规模未注释的图像数据集进行图像协调。首先，利用我们的标签效率遮蔽区域变换（LEMaRT）流水线在线生成预训练数据，然后我们通过从受干扰的图像恢复原始图像来对图像协调模型进行预训练。其次，我们引入了一个新的图像协调模型，即 SwinIH，在 LEMaRT 上进行预训练，效果优于目前的最新方法，这表明我们的方法是标签高效的。
self-supervised pre-trainingimage harmonizationlabel-efficient masked region transformswin transformeriharmony4 dataset
发现论文，激发创造
  • 自主训练的掩蔽关注引导的掩蔽图像建模与噪音约束教师 (SMART) 用于医学图像分析

    Hierarchical shifted window transformers (Swin) were architecturally enhanced with semantic class attention for self-supervised attention guided co-distillation with masked image modeling (MIM), resulting in SMART. SMART, pretrained with 10,412 unlabeled 3D computed tomography (CTs), demonstrated high performance in multiple downstream tasks involving lung cancer (LC) analysis, including predicting immunotherapy response, LC recurrence, LC segmentation, and unsupervised clustering of organs in the chest and abdomen, without finetuning.

    Oct, 2023

  • 具有局部掩码重建的高效自监督视觉预训练

    本研究提出一种名为 LoMaR 的局部掩码重建的学习机制，该方法与生成式自监督视觉学习方法（如 MAE 和 BEiT）相比，可以更加高效地在简单的转换器编码器上进行掩码重建，同时也更具准确性，可轻松集成到其他生成式自监督学习方法中。

    Jun, 2022

  • 多尺度变换器半监督广角人像校正

    提出一种半监督网络用于广角肖像矫正，利用一致性机制和多尺度 Swin Transformer 块构建 MS-Unet 网络，同时使用标记和未标记数据进行训练，实现了比现有方法更优异的结果。

    Sep, 2021

  • HiViT: 分层视觉 Transformer 遇见掩蔽图像建模

    本文提出了一种名为 HiViT 的分层视觉转换器的设计，该设计在 MIM 中具有高效性和良好的性能，通过关闭 Swim Transformer 的局部对单元操作并显示层次结构，将蒙版单元序列化为普通视觉变换器，经实证研究表明，在 ImageNet-1K 上运行 MAE，HiViT-B 相对于 ViT-B 的准确率提高了 0.6％，比 Swin-B 快了 1.9 倍，表现提高泛化到检测和分割等下游任务。

    May, 2022

  • ARHNet：适应性区域协调用于病变感知增强以提高分割性能

    提出一种前景调和框架（ARHNet）来解决 MRI 扫描的强度不均匀问题和使合成图像看起来更加逼真的问题，实验结果表明此方法在提高分割性能方面表现优异。

    Jul, 2023

  • 图像协调的前景感知语义表示

    通过使用预先训练的分类网络，提出了一种新的体系结构来利用高级特征空间以实现图像和谐的目的，并在图像和谐基准测试中取得了 MSE 和 PSNR 指标的最新成果。

    Jun, 2020

  • 分割任意物体模型与图像融合

    本文提出了一种利用语义分割地图指导前景和背景特征的视觉一致性学习的方法，称为语义引导的区域感知实例标准化（SRIN），并且通过丰富的实验验证了该方法在图像协调中的优越性。

    Dec, 2023

  • 使用文本驱动的软掩膜进行多模态表征学习

    提出了一个自我监督学习框架中的视觉语言表示学习方法，引入了一种新的操作、损失和数据增强策略，其中将图像中最相关于对应的标题中某个单词的区域进行软掩蔽以生成多样的图像特征，然后通过多模态编码器计算出每个单词的条件视觉注意力来确定与其相关的区域，提出了一个用于图像文本对比学习（ITC）目标的焦点损失，并进行多模态数据增强以进行自我监督学习。

    Apr, 2023

  • 可学习的增强深度图像融合

    图像协调的目标是调整复合图像中前景的外观，使整个图像协调一致。我们通过探索可学习的增强方法，丰富小规模数据集的光照多样性，以提升协调性能。实验表明，我们提出的可学习增强方法对图像协调具有有效性。

    Aug, 2023

  • 分层动态图像调和

    本文提出了一种分层动态网络 (HDNet) 用于图像和谐处理，该网络通过局部动态和面具感知全局动态，从本地到全局视角自适应模型参数和特征改变，以实现更好的特征转换和全局调和。

    Nov, 2022