Oct, 2023

RT-GAN：用于在基于帧的领域转换方法中增加轻量级时间一致性的循环时序生成对抗网络

HTML
PDF
TL;DR通过RT-GAN（循环时间GAN）的轻量级可调的时间参数，为单帧方法添加时间一致性，将培训需求降低了5倍，从而在内窥镜视频的开发中展示了其有效性，包括肠镜检查中忽略表面的构壁褶皱分割和逼真的肠镜模拟器视频生成。
发现论文，激发创造
  • 具有奇异值剪切的时间生成对抗网络

    本文提出了一种生成式模型 Temporal Generative Adversarial Nets（TGAN），用于学习未标记视频的语义表示，并能够生成视频。我们的模型利用两种不同类型的生成器：时间生成器和图像生成器，解决了利用现有的基于GAN的方法生成视频时存在的问题。为了稳定训练，我们采用了最近提出的Wasserstein GAN模型，并提出了一种稳定的端到端训练方法。实验结果表明了我们方法的有效性。

    Nov, 2016

  • 扩张时序关系对抗网络用于通用视频摘要

    通过新的DTR-GAN框架，结合了时序动态关系、多尺度全局上下文信息和对抗学习等技术，实现视频的帧级别摘要，且在三个公共数据集上验证了其在视频理解上的有效性。

    Apr, 2018

  • 用于结直肠组织病理学图像数据增强的生成式图像转换技术

    使用循环一致生成对抗网络（CycleGANs）进行图像转换并生成人工合成结肠息肉图像，利用生成图像来增强数据集的训练效果，提高卷积神经网络（CNN）检测息肉的AUC值，该方法为解决组织病理学图像分类任务中数据不平衡问题提供了一种有效解决方案。

    Oct, 2019

  • 生成敌对网络用于视频到视频的域自适应

    本文提出了一种名为VideoGAN的生成对抗网络，用于跨不同域传输基于视频的数据，并通过对结肠镜数据的实验验证，表明我们的VideoGAN可以显著提高多中心数据集上结直肠息肉分割的精度，并可用于将图像从阴天转换为晴天的任务。

    Apr, 2020

  • 无监督医学图像领域适应的结构保持循环生成对抗网络

    本论文介绍了一种结构保持 Cycle-GAN (SP Cycle-GAN) 模型，通过在整个 Cycle-GAN 训练过程中强制执行分割损失术语，促进医学结构的保护，并证明了其在多个数据集上的运行优于基线方法和标准Cycle-GAN域自适应模型。

    Apr, 2023

  • 结肠直肠癌预防的联合单侧合成异源图像转换与分割

    通过使用3D技术和生成对抗网络相结合产生逼真的合成图像，我们提出了CUT-seg，将分割模型和生成模型相互训练以生成逼真图像并学习肠息肉分割。我们利用最新的单向翻译模型，因为它们使用的内存显著较少，可以在训练环节中添加分割模型。相较于其他内存密集型图像转换方法需要两阶段训练，CUT-seg表现更好，计算成本更低，并且只需要一个真实图像和零个真实标注就能在五个真实肠息肉分割数据集上取得有希望的结果。作为本研究的一部分，我们发布了Synth-Colon，一个完全合成的数据集，包括20000个逼真的结肠图像以及有关深度和3D几何的其他细节。

    Jul, 2023

  • MeVGAN: 基于GAN的视频生成插件模型及其在结肠镜检查中的应用

    通过使用MeVGAN，我们能够生成质量较好的合成结肠镜检查视频，这在虚拟模拟器中有潜在应用。

    Nov, 2023

  • 基于时间一致性的将相对单目深度转移到外科视觉上

    通过使用时间一致性自我监督的有效简单方式，在内窥镜图像的低数据情况下，相对单眼深度对训练模型进行了改进，并在该任务中优于现有的自我监督技术，同时也显著优于内窥镜领域的最先进方法。我们还发布了我们的代码、模型和集成的元-医学数据集Meta-MED，为未来的工作建立了一个强大的基准。

    Mar, 2024

  • 医学图像翻译的串联多路径快捷扩散模型

    提出了一种级联多路径快捷扩散模型（CMDM），用于高质量医学图像翻译和不确定性估计，能够产生与最先进方法相媲美的高质量翻译，并提供与翻译误差相关的合理不确定性估计。

    Apr, 2024

  • SVS-GAN：利用GAN进行语义视频合成

    本研究解决了语义视频合成（SVS）领域现有方法依赖通用损失函数和大数据集的问题。我们提出的SVS-GAN框架采用特定的网络架构和损失函数，通过三层金字塔生成器和基于U-Net的图像判别器，显著提升了OASIS损失的语义分割能力。研究结果表明，该方法在Cityscapes和KITTI-360等数据集上超越了现有的最先进模型，展示了SVS在图像到视频合成中的潜力。

    Sep, 2024