May, 2023

SAMScore：一种用于图像翻译评估的语义结构相似度度量方法

PDF
TL;DRSAMScore 是基于高性能的 Segment Anything 模型（SAM）设计的一种通用的语义结构相似度指标，可用于评估图像翻译模型的可靠性，并应用于 19 项图像翻译任务中，发现其能够胜过所有竞争指标，是一种有价值的工具，有助于推动图像翻译领域的发展。
image translationsemantic structuressamscorefaithfulnesssemantic similarity
发现论文，激发创造
  • 在语义层面衡量视觉相似性的语义相似度分数

    基于场景图生成和图匹配的语义评估指标 SeSS 可以测量图像语义级信息的差异，可用于视觉语义通信系统的评估。

    Jun, 2024

  • 如何使用 ViTScore 度量评估图像的语义沟通能力？

    语义通信（SC）是一个新的范式，其主要关注点从准确的比特传输转变为在通信中进行有效的语义信息交换；本研究提出了一种评估图像语义相似性的新指标 ViTScore，并通过与其他三种典型指标的比较，证明了 ViTScore 在 SC 场景中更好地评估图像的语义相似性，表明它是一种有效的性能指标。

    Sep, 2023

  • SAM++: 利用语义信息和结构推理增强解剖匹配

    SAM++ 是一个能够在医学图像中学习外观和语义嵌入的框架，其固定点匹配机制能够克服原来方法中的一些限制，并取得了比现有方法更好的结果。

    Jun, 2023

  • SAM-I-Am：用于零样本原子尺度电子显微图分割的语义强化

    给定零样本分割技术基础模型，我们提出了 “语义增强” 的概念，通过指导分割过程并调整结果以适应特定领域的期望，实现了最佳分割技术的快速适应。我们将语义增强应用于 Segment Anything Model（SAM）以获取透射电子显微镜的微观结构分割，通过提取各种中间掩模的几何和纹理特征进行掩模去除和掩模合并操作，结果在三个难度类别的图像上相对于原始的 SAM（ViT-L）分别获得了平均 IoU 增加 21.35%、12.6%、5.27% 和平均假阳性掩模降低 9.91%、18.42%、4.06%。

    Apr, 2024

  • SimSAM：基于简化孪生表示的语义亲和矩阵用于无监督图像分割

    通过自我监督学习（SSL）的最新发展，我们介绍了一种计算语义亲和矩阵的新框架 SIMSAM，该框架对于无监督图像分割非常重要。

    Jun, 2024

  • SemST: 结构纹理对齐的语义一致多尺度图像翻译

    通过对比学习和对齐输入和输出的结构和纹理特性，提出了一种名为 SemST 的新型 I2I 方法，用于在保持语义的同时实现语义无损的领域内图像映射，进一步引入多尺度方法增强翻译性能，适用于高分辨率图像领域适应。实验证明，SemST 可以有效减少语义失真，并取得了最先进的性能，同时还探讨了 SemST 应用于领域适应的可能性，初步实验表明 SemST 可作为语义分割任务的有益预训练。

    Oct, 2023

  • MR 图像到图像翻译的相似度度量指标

    图像到图像的转换在医学影像领域具有巨大影响，本研究介绍了用于图像合成评估的参考和非参考度量标准，并调查了九种需要参考的度量标准（SSIM、MS-SSIM、PSNR、MSE、NMSE、MAE、LPIPS、NMI 和 PCC）以及三种非参考度量标准（BLUR、MSN 和 MNG）对来自 BraSyn 数据集的 MR 图像的 11 种扭曲的检测能力。此外，还测试了下游分割度量标准和三种归一化方法（Minmax、cMinMax 和 Zscore）的影响。通过合理选择和结合图像相似性度量标准，可以改进用于 MR 图像合成的生成模型的训练和选择，在高成本的经过训练的放射科医生评估之前可以验证其输出的许多方面。

    May, 2024

  • 分段大杂烩遇上语义交流

    本文提出了一种基于 Segment Anything Model（SAM）的语义编码方法，SAM 作为一种可提示的图像分割模型，在不需要显示训练或具体领域知识的情况下能够完成零样本分割任务，通过应用 SAM 的分割能力和轻量级的神经网络架构进行语义编码，实现了对图像重建质量的提高和通信开销的降低。

    Jun, 2023

  • 扩散模型图像生成的一种量化一致性的语义方法

    通过使用对比式语言 - 图像预训练（CLIP）得出的平均语义一致性分数，本研究提出了一种解释性、定量的图像生成一致性评分，用于评估扩散模型的图像生成一致性，并发现了两种优秀的开源图像生成扩散模型 Stable Diffusion XL 和 PixArt-α 之间的显著差异。该文还研究了 SDXL 和经过 LoRA 精细调整的 SDXL 模型的一致性，并发现经过精细调整的模型在生成的图像的语义一致性方面显著提高。本文提出的语义一致性评分为图像生成对齐提供了度量方法，有助于评估特定任务的模型架构，并促进基于模型的决策制定。

    Apr, 2024

  • 风格转移和改写：寻找合理的语义相似性度量

    本文分析了超过十余种测量两个短文本的语义相似性的方法，并使用一个新的标记为语义相似性的 14,000 句子数据集证明文献中使用的这些度量标准都不能够足够接近人的判断。虽然有一些最近提出的度量标准提供了具有可比性的结果，但 Word Mover Distance 被证明是目前测量改写文本的语义相似性的最合理的解决方案。

    Apr, 2020