利用最近的视觉 - 语言模型，通过文本和语义标签图引导，产生多样和逼真的合成心脏超声图像数据，以保留原始图像的关键特征。研究了无条件生成、文本引导生成和混合方法，并展示出合成数据中存在的丰富上下文信息可能提高下游任务的准确性和可解释性，例如改善指标和更快收敛的心脏超声图像分割和分类。实现部分含有检查点、提示和创建的合成数据集可公开获取。

Mar, 2024

本文提出了一种通过心脏超声语义标签图引导的去噪扩散概率模型（DDPMs）生成合成图像的新型流程，展示了这些合成图像可以作为医学影像分析任务的深度学习模型训练中真实数据的可行替代品，包括图像分割，并在未见实际数据的数据集上进行了评估，与现有技术相比，Dice 分数分别增加了 9.09％，3.7％和 15.0％，该流程具有应用于各种医学成像模态的各种其他任务的潜力。

May, 2023

通过扩展现有的视频扩散模型，基于语义解剖信息生成超声心动图视频的研究，在改进合成过程中整合空间调整归一化，以提高生成视频的逼真性和连贯性，并在 CAMUS 数据集上展示了优于标准扩散技术的性能。

Oct, 2023

我们提出了一种利用大语言模型（LLM）和图像生成模型的优点来创建合成图像 - 文本对的新方法，以用于视觉语言模型（VLM）的高效训练。通过预训练一个文本到图像模型来合成由 LLM 生成的图像嵌入，我们的方法能够用合成数据训练出仅需使用人工标注数据一小部分的 VLM，并在图像字幕任务中展现出相当的性能。此研究为生成大规模、可定制的图像数据集引入了一项有前景的技术，从而提升了 VLM 性能，拓展了其在各个领域中的适用性，并改善了数据效率和资源利用。

Mar, 2024

利用先进的视觉语言模型（VLMs）对合成图像进行识别的效果进行了研究，并通过调整最先进的图像字幕模型，利用大型 VLMs 的强大理解能力区分真实图像和扩散基模型生成的合成图像。

Apr, 2024

通过结合详细的心脏解剖分割模型和真实数据集，利用生成对抗网络（GAN）生成 3D 合成数据集来解决医学成像领域中的数据收集和标注困难，从而应对 3D 心脏超声图像数据稀缺问题，并展示了该方法在分割算法训练中的潜在应用价值。

Mar, 2024

该研究提出了一种新颖的方法，通过自监督学习和弱监督训练，在稀疏注释的超声心动图视频中实现了一致的左心室分割，相比最先进的解决方案，在效率更高的同时，取得了 93.32% 的 Dice 得分，并通过包含未标记帧在训练过程中实现高数据效用。

Sep, 2023

利用多模态视觉语言模型从图像描述和图像中捕捉语义信息，实现对多样化医学图像的分割，并评估其在医学领域的迁移性和基于生成提示的模型性能变化。

Aug, 2023

本文提出了一种视图无关的超声心动图分析方法，通过 prompt 匹配和预训练的视觉模型学习不同视图的专用提示，并利用预训练的医学语言模型将文本信息与像素数据对齐，以实现精准的分割，大量实验证明该方法在三个标准视图上明显优于最新的通用方法，并实现与同视图训练和测试的分割模型相当甚至更好的性能。

Apr, 2024

通过提出自主引导的语义分割（Self-Seg）框架和基于 LLM 的开放式词汇评估器（LOVE），在不需要提供类别名称的情况下，实现了开放式词汇分割的最新成果，并与提供类别名称的方法相竞争，取得了 Pascal VOC、ADE20K 和 CityScapes 的最具竞争力的结果。

Dec, 2023