May, 2024

放射学报告生成的细粒度图像文本对齐器

PDF
TL;DR本文介绍了一种名为 Fine-grained Image-Text Aligner (FITA) 的新方法，用于构建图像和文本特征的精细对齐，包括图像特征细化器（IFR）、文本特征细化器（TFR）和对比对齐器（CA），通过利用显著性图来有效融合症状与相应的异常视觉区域，以及利用精心构造的三元组集进行训练，最终使用对比损失实现精确定位的图像和文本特征的对齐。结果表明，我们的方法在广泛使用的基准测试上超过了现有的方法。
radiology report generationfine-grained image-text alignmentimage feature refinertext feature refinercontrastive aligner
发现论文，激发创造
  • 遥感图像字幕生成中的交互式图像 - 文本对齐引导

    基于视觉语言预训练的新型交互式傅里叶变换方法，用于实现远程感知图像字幕生成，通过对遥感图像和文本特征的更好对齐，提高了语义一致性，并在多个数据集上表现出超过其他方法的优越性能。

    Dec, 2023

  • 放射学报告生成的自适应全局 - 局部特征增强

    本文提出了一个新的框架 AGFNet，通过动态融合全局和解剖区域特征来生成多粒度放射学报告，该方法可以充分利用放射学图像和文本的多粒度信息，从而帮助生成更精准的报告。

    Nov, 2022

  • 视频文本检索的统一粗细对齐

    通过联合考虑不同粒度的跨模态相似性，我们提出了一种统一的多粒度对齐模型 UCoFiA，显著优于以前的基于 CLIP 方法，在多个视频 - 文本检索基准上表现出了 2.4％，1.4％和 1.3％的文本到视频检索 R@1 改进。

    Sep, 2023

  • ALADIN：用于高效图像 - 文本匹配和检索的细粒度对齐分数压缩

    本文提出了一种名为 ALADIN 的图文匹配方法，该方法通过精细的图像文本层次对齐产生高效得分，并通过蒸馏从层次对齐中获得的相关性得分，学习共享的嵌入空间，可在近乎 90 倍的速度下与最先进的 VL Transformer 网络相竞争，具有横跨视觉和语言的领先地位。

    Jul, 2022

  • 多粒度跨模态对比学习下的文本引导人脸识别

    通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

    Dec, 2023

  • 多模态命名实体识别的图像文本对齐

    本文提出了一种基于图像与文本对齐的多模态命名实体识别技术，通过将图像特征与文本信息在文本空间中对齐，将两者之间的交互作用结合在一起，以此提高命名实体识别的准确性。

    Dec, 2021

  • 面向快速准确的图像文本检索与自监督细粒度对齐

    在这项工作中，我们在独立嵌入框架之上提出了一个图像 - 文本对齐模块 SelfAlign，通过自监督对比学习在概念级和语境级强制进行图像 - 文本对齐，提高了检索准确性同时保持了检索效率。

    Aug, 2023

  • 隐式特征对齐：学习将文本识别器转换为文本检测器

    本文提出了一种名为隐式特征对齐的范式，它可以被轻松地集成到当前的文本识别器中，从而使普通的文本识别器能够处理多行文本，而不必由文本检测器限制。实验证明，这种方法在保持最快速度的同时，实现了最先进的端到端文档识别任务的性能，并且 ADP 和 ExCTC 在不同的应用场景下相互补充。

    Jun, 2021

  • EvalAlign: 通过监督微调人工注释的多模态大模型的精确定位评估文本到图像模型

    本文提出了 EvalAlign，这是一种准确性、稳定性和细粒度特性突出的评估指标，通过利用在大规模数据集上进行预训练的多模式大型语言模型（MLLMs）的能力，通过开发集中在图像忠实度和文本 - 图像对齐的两个关键维度的评估协议以及详细的、细粒度的指导指令，进行生成图像的精确手动评分，使 MLLMs 与人类评估判断紧密对齐，得到了一个强大的评估模型。我们对 24 个文本 - 图像生成模型进行了全面的测试，结果表明 EvalAlign 不仅提供了更好的指标稳定性，而且比现有的指标更接近人类的偏好，从而验证了其在模型评估中的有效性和实用性。

    Jun, 2024

  • 基于 CLIP 的细粒度文本图像人员再识别

    提出了一种基于 CLIP 驱动的细粒度信息挖掘框架 (CFine)，旨在为 TIReID 提供强大的多模态知识，通过细粒度信息挖掘，建立跨模态对齐，并在多个基准测试上显示了其优越的性能。

    Oct, 2022