Jan, 2024

预训练掩码模型实现全能零样本降噪器

PDF
TL;DR基于其中提出的 Masked Pre-train then Iterative fill (MPI) 方法，该研究在图像去噪方面取得了显著的进展，能够在有限迭代次数内高质量地去噪，同时大幅减少推理时间。
zero-shot denoising paradigmmasked pre-train then iterative fill (mpi)image denoisingpre-traininginference time reduction
发现论文，激发创造
  • 基于掩膜图像训练的通用深度图像去噪技术

    本文提出了一种蒙版训练的方法，通过遮盖输入图像的随机像素并在训练期间重建丢失的信息，同时遮盖自注意力层中的特征以避免训练 - 测试不一致性的影响，从而提高了去噪网络的泛化能力。

    Mar, 2023

  • 掩码扩散模型学习速度快

    我们提出了一种基于先验的去噪训练框架，并将先训练和微调范式纳入扩散模型的训练过程，从而显着提高了训练效率和生成的图像质量。

    Jun, 2023

  • 多智能体决策的屏蔽预训练

    提出了一种基于 Transformer 架构的 MaskMA 预训练框架，通过分布式执行和部分观察的方式，同时解决了多智能体决策中分布式预训练和执行不匹配以及智能体数量和行动空间多样性的问题，实验结果显示 MaskMA 在多个任务上都表现出色，包括 77.8％的零 - shot 胜率和有效的策略协作和临时团队游戏能力。

    Oct, 2023

  • 遮蔽图像建模的统一视角

    本文提出了一种统一的视角，针对现有方法进行了修订，并引入了一种名为 MaskDistill 的简单而有效的方法，通过对受损输入图像的屏蔽位置的主题模型重新构建归一化语义特征，以解决大规模训练视觉转换器中需要大量标记的问题，实验结果表明，MaskDistill 在图像分类和语义分割方面的表现优于现有技术。

    Oct, 2022

  • 掩模图像建模与去噪对比

    本文提出了一种简单的自监督预训练框架 ConMIM，使用对比学习的方法在图像补丁级别上进行去噪自编码，通过不同的异构设计来提高网络的预训练性能，从而在多个视觉任务上实现了竞争性结果，如 ImageNet 分类，语义分割，目标检测和实例分割等。

    May, 2022

  • Train No Evil: 面向任务导向的有选择掩码预训练

    本文提出了一种三阶段的预训练模型，通过加入任务引导的预训练阶段和选择性掩蔽来学习特定领域和任务模式，实验结果表明，该模型在情感分析任务中可以达到与更少计算成本相当甚至更好的性能。

    Apr, 2020

  • 视觉 Transformer 预训练中遮蔽和置换视觉令牌的学习

    本研究提出了一种名为 MaPeT 的新型自监督预训练方法，旨在提高基于视觉任务的性能并解决输入噪声和不一致性问题，实验结果表明其在 ImageNet 数据集上具有与竞争对手相媲美的性能。

    Jun, 2023

  • MILAN: 基于语言辅助表征的掩蔽图像预训练

    本文提出了一种基于自注意力和掩码自编码器的图像预训练方法 MILAN，通过嵌入语言监督来生成语义信息丰富的图像特征，通过实验证明，该方法在多项计算机视觉任务中优于现有方法。

    Aug, 2022

  • 掩蔽变换器应用于扩散模型快速训练

    本论文提出了一种使用掩码 Transformer 训练大型扩散模型的高效方法，实现了在不牺牲生成性能的情况下，仅使用 31％的训练时间达到与最先进的扩散变压器模型相同性能的效果。

    Jun, 2023

  • 一种基于零验证去噪器的 l1 插接播放方法在 3D 开放 MPI 数据集上的磁性粒子成像

    基于磁性粒子成像的研究论文，提出了一种基于通用零样本去噪器和 l1 先验的即插即用方法，并开发了参数选择策略，最后在具有不同预处理级别的 3D Open MPI 数据集上进行了定量和定性评估。

    Dec, 2023