May, 2024

Diag2Diag: 物理发现的多模态超分辨率，应用于核聚变

PDF
TL;DR本文介绍了一种突破性的多模态神经网络模型，旨在提高分辨率，创新性地利用系统内的诊断相关性。与传统方法主要侧重于单模态增强策略（如基于像素的图像增强或启发式信号插值）不同，我们的模型通过利用聚变等离子体中的诊断关系，采用一种新颖的方法。首先，我们建立了托卡马克内诊断仪之间的相关性。随后，我们利用这些相关性，大幅提高汤姆逊散射诊断的时间分辨率，该诊断评估等离子体密度和温度。通过将其分辨率从传统的 200Hz 增加到 500kHz，我们为研究等离子体行为提供了新的洞察层面，之前只能通过计算密集型模拟才能达到。这种增强超越了简单的插值，提供了对控制等离子体动力学的基础物理现象的新视角。
multi-modal neural network modelresolution enhancementinter-diagnostic correlationsfusion plasmathomson scattering diagnostic
发现论文，激发创造
  • 基于条件扩散模型的三模态医学图像融合和超分辨率

    我们提出了一个同时实现三模态医学图像融合和超分辨率的 TFS-Diff 模型，该模型基于扩散模型生成随机迭代去噪过程，提出了简单的客观函数和融合超分辨率损失方法，通过通道注意模块有效地集成来自不同模态的关键信息，大量实验证明 TFS-Diff 在定量和视觉评估方面显著优于现有的最先进方法。

    Apr, 2024

  • 基于学习的超分辨率框架在美国信号中的应用

    提出了一种基于深度学习的超分辨率超声图像和视频增强方法，通过训练模型和大量医学图像数据进行定制化的超分辨率处理，实现了对不同解剖区域的低分辨率超声图像和视频的有效提高，并且兼顾了训练网络的运算速度和硬件资源消耗。

    Apr, 2023

  • 通过渐进网络实现多对比度超分辨率磁共振成像

    本文提出了一种用于 MRI 多对比度超分辨率图像的神经网络方法，实验结果表明该网络可以产生高质量的超分辨率图像，在图像质量和结构相似度方面优于其他多对比度超分辨率方法，而且渐进网络即使在原始低分辨率图像高度下采样时，也比非渐进网络更能产生更好的 SR 图像质量。

    Aug, 2019

  • 单个热成像的多模态传感器融合超分辨率

    本文提出了一种基于深度学习的解决方案，通过多模态图像融合模型来提高热红外图像的分辨率，并研究了一系列网络架构、上采样方法、学习过程以及优化函数对图像超分辨率问题的有益作用，并提出了一个基准数据集进行定量评估

    Dec, 2018

  • 增强图像：核磁共振中使用人工智能进行超分辨率

    本章提供了关于深度学习技术用于改善 MRI 空间分辨率的概述，包括卷积神经网络、生成对抗网络，以及更高级的模型，如 transformers、扩散模型和隐式神经表示。我们探索了超分辨图像对临床和神经科学评估的影响，并涵盖网络架构、图像评估指标、网络损失函数和训练数据细节等各种实际主题，包括模拟低分辨率图像的下采样方法和数据集选择。最后，我们讨论了深度学习 MRI 超分辨率的现有挑战和潜在未来发展方向，旨在促进其广泛应用于各种临床和神经科学应用。

    Jun, 2024

  • 利用大规模多模态 Transformer 进行医学诊断：利用不同的数据进行更准确的诊断

    提出了新的可学习的协同学习方法，用以解决多模态深度学习模型中所存在的模型复杂性升级问题，以及其应用于医学临床数据处理中所面临的扩展性难题，并在三个多模态数据集上展现了其卓越的表现。

    Dec, 2022

  • 用于 Sentinel-2 图像融合的全分辨率训练框架

    提出了一个新的无监督框架，用于通过融合 10 米和 20 米波段的 Sentinel-2 图像实现超分辨率的深度学习模型训练。通过避免分辨率降级过程，该方案能够避免在有监督情况下生成训练数据。另外，我们提出了一种合适的损失函数，考虑了网络预测和待融合输入组件之间的循环一致性。尽管它是无监督的，但在我们的初步实验中，该方案与有监督方法相比，已经显示出有希望的结果。此外，通过构建提出的损失函数，所得到的训练网络可以归类为多分辨率分析方法。

    Jul, 2023

  • 使用弱监督联合卷积稀疏编码进行三维医学图像的同时超分辨率和跨模态合成

    该论文提出了一种利用少量已注册的多模态图像对进行弱监督联合稀疏编码，从低分辨率单模态图像中生成高分辨率多模态图像的方法，并通过最大均值偏差项结合未配对数据来提高联合字典的学习质量，本文实验证明，该方法在超分辨率重建和同时进行超分辨率和跨模态综合方面优于现有技术。

    May, 2017

  • 基于多阶段集成网络的多对比度 MRI 超分辨率重建

    本文提出了一种多阶段集成网络（MINet）用于多对比度 MRI SR，该网络能够显式地建模不同阶段的多对比度图像之间的依赖关系以引导图像 SR。实验证明，MINet 优于目前的多对比度 SR 方法，具有改善目标图像质量的能力。

    May, 2021

  • 跨模型扩散建模用于高分辨率空间转录组学

    使用跨模态条件扩散模型，结合组织学图像和基因表达进行超分辨率空间转录测序图，实现了更高的精度和性能。

    Apr, 2024