Jul, 2023

合成神经影像质量评估中的 K-Space 感知跨模态评分

PDF
TL;DR通过引入预训练的多模态分割网络用于预测病变位置，以及肿瘤编码器用于表示特征，如纹理细节和亮度强度，结合使用 k 空间特征和视觉特征的全面编码器和频率重建惩罚，采用结构共享编码器和相似性损失，本研究提出了一种新的指标 K-CROSS 用于评估跨模态医学图像合成，通过构建一个包含 6,000 名放射科医生判断的大规模跨模态神经影像感知相似度（NIRPS）数据集，广泛的实验证明了该方法相较于其他指标的性能优越，特别是在 NIRPS 上与放射科医生的比较中。
cross-modality medical image synthesisk-crosslesion locationk-space specialityneuroimaging perceptual similarity
发现论文，激发创造
  • CrossScore: 走向多视角图像评估和打分

    介绍一种新型的交叉参考图像质量评估方法，利用神经网络和独特的数据采集流水线以及 NVW 优化，实现了不需要真实参考图像的准确图像质量评估。

    Apr, 2024

  • 使用弱监督联合卷积稀疏编码进行三维医学图像的同时超分辨率和跨模态合成

    该论文提出了一种利用少量已注册的多模态图像对进行弱监督联合稀疏编码，从低分辨率单模态图像中生成高分辨率多模态图像的方法，并通过最大均值偏差项结合未配对数据来提高联合字典的学习质量，本文实验证明，该方法在超分辨率重建和同时进行超分辨率和跨模态综合方面优于现有技术。

    May, 2017

  • MR 图像到图像翻译的相似度度量指标

    图像到图像的转换在医学影像领域具有巨大影响，本研究介绍了用于图像合成评估的参考和非参考度量标准，并调查了九种需要参考的度量标准（SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC）以及三种非参考度量标准（BLUR、MSN 和 MNG）对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外，还测试了下游分割度量标准和三种归一化方法（Minmax、cMinMax 和 Zscore）的影响。通过合理选择和结合图像相似性度量标准，可以改进用于 MR 图像合成的生成模型的训练和选择，在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。

    May, 2024

  • 跨模态系统是否利用语义关系？

    该论文提出一种新的语义相似度评估指标 SemanticMap 来评估跨模态检索系统的性能，并且提出了基于单流网络的新型跨模态检索系统，该系统使用深度神经网络训练，并在 MSCOCO 和 Flickr30K 数据集上进行了评估。

    Sep, 2019

  • 半监督医学图像分割的多尺度交叉对比学习

    本文提出了一种 MCSC 框架，联合训练 CNN 和 Transformer 模型，并采用多尺度交叉监督对比学习来对医学图像进行结构分割。实验证明，该方法在 Dice 系数上比现有的半监督方法提高了 3.0% 以上，并且大大缩小了与全监督方法之间的性能差距。

    Jun, 2023

  • 空间交叉注意力提高自监督视觉表示学习

    该论文提出一个可添加到 SwAV 等现有方法中的附加模块，可以更好地学习图像语义中的空间交叉相关性和内部类信息，并提高物体检测等下游任务的性能。

    Jun, 2022

  • 在语义层面衡量视觉相似性的语义相似度分数

    基于场景图生成和图匹配的语义评估指标 SeSS 可以测量图像语义级信息的差异，可用于视觉语义通信系统的评估。

    Jun, 2024

  • 多尺度和跨尺度对比学习用于语义分割

    本研究考虑应用监督对比学习提高语义分割中多尺度特征的判别能力，并通过有效的采样过程与跨尺度对比学习方法进一步提高模型性能。

    Mar, 2022

  • 基于记忆的跨模态语义对齐网络用于放射学报告生成

    提出了一种基于记忆的跨模态语义对齐模型（MCSAM），它包括一个良好初始化的长期临床记忆库来学习与疾病相关的表示，以及检索和使用检索到的记忆进行特征整合的先验知识，同时通过交叉模态语义对齐模块（SAM）生成语义视觉特征嵌入，有助于报告生成；通过使用可学习的记忆提示记住解码器在报告生成过程中的状态和附加信息，实验证明该方法在 MIMIC-CXR 数据集上具有有前景的性能表现。

    Mar, 2024

  • 自适应交叉模态少样本学习

    本文提出了一种机制，可以根据待学习的新图像类别自适应地从视觉和语义两方面结合信息，通过一系列实验表明，这种自适应组合可以在所有基准和 few-shot 情景上大幅优于当前单模态学习方法和模态对齐方法，特别是在少样本的情况下。

    Feb, 2019