Apr, 2024

MedRG: 多模态大型语言模型的医学报告联系

PDF
TL;DR通过引入一个新的框架 MedRG，该研究利用多模态大型语言模型预测关键短语，并结合视觉编码器 - 解码器生成相应的边界框，该方法在医学短语定位任务上的表现优于现有最先进技术。
medical report groundingmulti-modal large language modelkey phrase predictiongrounding box generationmedical image analysis
发现论文，激发创造
  • MAIRA-2: 基于现实的放射学报告生成

    将报告生成扩展到包括图像上的个别发现的定位，提出使用大型语言模型的推理能力进行基于现实的报告生成评估框架，介绍了结合放射学特定图像编码器和大型语言模型的 MAIRA-2，证明了这些增加内容显著提高报告质量并减少错误，以及展示了基于现实的报告生成作为一项新的丰富任务的可行性。

    Jun, 2024

  • 一个适用于生物医学领域的引用和定位的多模态大型语言模型

    通过创建 Med-GRIT-270k 数据集和使用多任务学习，我们提出了用于生物医学的指示型多模态大型语言模型 (BiRD)，并通过大量实验证明了该数据集和 BiRD 模型在交互能力和智能生物医学助理的探索和开发上具有显著的参考价值。

    Jun, 2024

  • 多语言结构化放射学报告的知识图谱嵌入

    我们引入了一种新颖的轻量级基于图的嵌入方法，特别适用于放射学报告，通过多语言 SNOMED 临床术语知识库连接报告中的医学术语，揭示了临床术语之间的潜在关系，实现了更好地理解和临床准确性的表示，而不依赖于大规模预训练数据集。我们展示了这种嵌入方法在 X 光报告的疾病分类和图像分类两个任务上的应用，并且相较于基于 BERT 的模型，在体积和训练数据需求方面要小得多。同时，我们展示了图嵌入方法如何利用跨模态知识传递，在不同语言之间具有可用性。

    Sep, 2023

  • 利用现成的扩散模型进行医学术语定位

    使用潜在扩散模型在零样本的情况下，通过选择特征和后处理进行文本引导的医学扫描的定位，相比于显式对齐图像与文本的联合嵌入空间的最新方法表现出竞争力并在多种病理类型上优于它们。

    Apr, 2024

  • 基于知识增强的医学 CXR 可视化语言预训练模型

    我们提出了一种基于 Transformer 的基于地面知识增强模块的医学视觉 - 语言预训练（GK-MVLP）框架，通过细粒度对应医学知识的解剖区域级视觉特征和文本特征，将医学知识地面化到适当的解剖区域，优化胸部 X 光图像和放射学报告的对齐，并在下游任务上展现出与或超过现有技术的竞争力，包括胸部 X 光疾病分类、疾病定位、报告生成和医学视觉问答。结果显示了引入地面化机制消除偏见并改善胸部 X 光图像和放射学报告的对齐的优势。

    Apr, 2024

  • 对 3D CT 图像的整个放射学报告的视觉定位

    本文介绍了一种用于 CT 图片和报告的视觉基准框架，结合解剖分割和报告结构化技术，能更好地定位出异常，性能比基准模型提高了很大的幅度（66.0% vs 77.8%），相比之前的技术也具有更高的性能。

    Dec, 2023

  • 提升文档理解能力的研究：基于 MLLMs 的文本定位探索

    在文档理解领域，本文提出了一种文本定位的文档理解模型，命名为 TGDoc，通过增强多模态大型语言模型（MLLMs）的能力来识别图像内文本的空间位置，以提高文本内容解释的准确性，从而提高对文本丰富图像的理解能力。实验证据表明，文本定位方法在多个文本丰富基准测试中取得了最先进的性能，验证了我们方法的有效性。

    Nov, 2023

  • 针对医学报告生成的通用基础模型的定制

    该研究提出了将通用的预训练神经网络模型应用于医学报告生成的方法，并表明对图像的特定编码和一定的参数训练是实现最优结果的关键。

    Jun, 2023

  • 多轮多模态指称及锚定

    我们建立了一个名为多模态多轮指称及定位的新任务的基准，并提出了一个名为 ChatterBox 的视觉语言模型，通过协同处理视觉和语言任务，ChatterBox 在多模态对话场景中具有复杂而精确的交互中相较于现有模型在实例级别的理解上表现出更好的性能。

    Jan, 2024

  • 医学语义辅助变压器模型用于放射学报告生成

    本文提出了一种利用稀疏注意力块和双线性池化捕捉细粒度图像特征之间高阶交互的记忆增强型稀疏注意力块，并引入新颖的医学概念生成网络来预测细粒度语义概念，并将其作为指导结合到自动生成医学报告的过程中，最终在 MIMIC-CXR 及图像字幕生成和医学报告生成多个领域的基准测试中，表现出了优异的性能。

    Aug, 2022