Jan, 2023

零样本跨模态数据翻译：基于互信息引导的随机扩散

PDF
TL;DR本文提出了一个名为互信息指导扩散的跨模态数据翻译模型（MIDiffusion）来解决零样本学习交叉模态数据翻译的基本挑战，该方法不需要基于源与目标领域的直接映射，且在实践中应用跨模态数据翻译方法具有优势。
cross-modality data translationzero-shot-learningunsupervised learninggenerative modelsmutual information
发现论文，激发创造
  • 基于扩散的零样本医学图像到图像转换用于跨模态分割

    通过使用深度生成模型，本文提出了一种新颖的无监督图像转换方法，以实现零样本跨模态图像分割任务，并通过与其他生成模型的实证比较进行了验证。

    Apr, 2024

  • 通过频率引导扩散模型实现零样本医学图像翻译

    使用频域滤波器来指导扩散模型，以实现结构保留图像翻译的频率引导扩散模型（FGDM），同时在医学图像翻译中具有零样本学习的能力。 该模型在结构保留医学图像翻译任务中具有良好的性能。

    Apr, 2023

  • 基于扩散模型的认知启发跨模态数据生成

    探索一种基于扩散模型的跨模态生成方法，通过多模态扩散模型的训练和采样方案使用逐通道图像条件学习跨模态相关性，实现数据生成和多种模态的条件生成。

    May, 2023

  • 相互信息散度：多模态生成模型的统一度量

    采用 CLIP 特征的负高斯交叉互信息度量被提出，用于评估 text-to-image generation 和 image captioning 任务的机器智能水平，与竞争指标相比具有一致性、样本简约性和鲁棒性，并在多模态表示学习中得到了广泛的应用。

    May, 2022

  • 文本引导扩散图像风格迁移的零样本对比损失

    本文提出了一种零样式迁移的扩散模型，该零样式迁移使用零额外训练或辅助网络的对比损失来处理内容保留问题，并在图像样式转换和图像到图像翻译中取得了优于现有方法的效果。

    Mar, 2023

  • 多模态图像到图像转换的随机风格表示与相互信息损失

    本文提出两种方法来提高多模态翻译质量，其一是通过来自源领域的内容表示以及目标域的风格表示的条件表示，其二是采用 MILO，一种基于信息论的新型随机定义的损失函数。我们的模型 MISO 在各种真实数据集上广泛实验，取得了最优性能。

    Feb, 2019

  • 镜面扩散：通过提示重述和更多方法稳定零样本图像翻译过程

    最近，文字到图像扩散模型成为图像处理领域的一种新范式，包括内容生成、图像恢复和图像到图像的转换。本文提出了一种 Prompt 重新描述策略，以实现扩散模型中源图像和重构图像的镜像效应，从而实现准确的零样本图像翻译。

    Jan, 2024

  • I$^2$MD：带有内外模态相互蒸馏的三维动作表征学习

    介绍了一种新的互模态和内模态的相互蒸馏框架，通过改进跨模态交互和解决相似样本干扰问题，实现了自监督学习，在三个数据集上取得了新的记录。

    Oct, 2023

  • UNIT-DDPM: 带去噪扩散概率模型的非配对图像翻译

    提出一种新颖的无需对抗训练的图像分类方法，该方法使用基于去噪扩散概率模型的单张图像转换方法。我们的方法是通过最小化以另一个域为条件的去噪得分匹配目标来训练生成模型以推断图像的联合分布。我们同时更新域翻译模型，并通过基于 Langevin 动力学的去噪马尔科夫链蒙特卡罗方法来生成目标域图像。该方法在几个公共数据集上实现了最先进的 Frechet Inception Distance（FID）性能，包括彩色和多光谱影像，并明显优于当前的对抗图像转换方法。

    Apr, 2021

  • 一次性跨领域语义分割的信息挖掘

    我们提出了一种名为 Informative Data Mining (IDM) 的新框架，通过使用一种基于不确定性的样本选择准则来实现高效的一次性领域自适应，其中包括基于补丁混合和基于原型的信息最大化来更新模型，有效提高了自适应性并缓解过拟合问题。

    Sep, 2023