Dec, 2023

RadEdit: 通过扩散图像编辑对生物医学视觉模型进行压力测试

PDF
TL;DR使用生成图像编辑来模拟数据集变化并诊断生物医学视觉模型的故障模式，无需额外的数据收集即可评估模型的鲁棒性。
发现论文，激发创造
  • 基于扩散的语义图像编辑与掩模引导

    本文提出了一种基于条件扩散模型的语义图像编辑方法 DiffEdit，能够自动生成需要编辑的图像区域的遮罩，并利用潜在推理保留感兴趣区域的内容，该方法在 ImageNet 数据集上实现了最先进的编辑表现。

    Oct, 2022

  • 在生成 AI 革命时代重新思考图像编辑检测

    构建了 GRE 数据集，该数据集包括原始图片和使用多个大型模型进行编辑的多种编辑方式，旨在推动生成区域编辑检测领域的进一步研究和探索。

    Nov, 2023

  • 关于从偏见和合成 CXR 图像的准确性角度看幻觉的观念

    利用 Stabile Diffusion 模型 (RoentGen) 对医学影像进行数据增强，并进行偏倚分析和幻像检测，结果发现生成的合成胸部 X 射线图像中存在分类偏差和幻像，指向了解释合成影像的新研究方向，以进一步理解相关风险和医学应用中的患者安全性。

    Dec, 2023

  • 基于扩散模型的测试时间图像适应性用于鲁棒皮肤病变分类

    我们提出了一种测试时间图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性，通过扩散模型将目标测试图像反投影到源域，设计结构指导模块通过低通滤波添加细化操作，用于正则化扩散以保留结构信息，并引入自整合方案自动调整对适应和未适应输入的依赖关系，增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明，我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。

    May, 2024

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023

  • 提升幸福感：通过图像扩散模型引发情绪

    通过扩展已有的图像生成研究，我们提出了一种新的情感诱发图像生成模型，旨在在保留原始场景的语义和结构的同时，生成能够引发目标情感的图像。我们使用扩散模型来有效地理解和编辑源图像，以传达所需的情感和情绪，通过进行人类心理物理实验和引入四种新的评估指标，我们系统地评估了所有方法，并证明了我们的方法超越了所有竞争基准。

    Mar, 2024

  • 将预训练的视觉语言基础模型应用于医学图像领域

    本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

    Oct, 2022

  • 多方位编辑：文本到图像传播模型下的同时多层面编辑

    本文介绍了 MultiEdits 方法，它通过创新的注意力分配机制和多分支设计，实现了在多个属性上同时进行编辑的无缝管理，并显著提高了多任务编辑的性能。同时，我们还引入了 PIE-Bench++ 数据集，该数据集是原始 PIE-Bench 数据集的扩展，以更好地支持同时涉及多个对象和属性的文本驱动图像编辑任务的评估。

    Jun, 2024

  • EMIT-Diff：通过文本引导的扩散模型增强医学图像分割

    本文提出了一种用于医学图像合成的新方法，即 EMIT-Diff，它利用最近的扩散概率模型生成逼真且多样化的合成医学图像数据，并确保合成样本符合医学相关约束并保留成像数据的底层结构。在多个数据集上进行的实验证明了 EMIT-Diff 在医学图像分割任务中的有效性，并展示了引入首个文本引导的扩散模型用于通用医学图像分割任务的可行性。

    Oct, 2023

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022