Feb, 2024

简化超声医学图像分割的视觉上下文学习与遮罩图像模型结合的简单框架

PDF
TL;DR新的简单视觉上下文学习（ICL）方法 SimICL 结合被设计用于自监督学习的屏蔽图像建模（MIM）对配对图像进行视觉 ICL，成功地在具有有限注释的腕部超声数据集上验证，对于骨骼结构分割取得了非常高的 Dice 系数（DC）和 Jaccard 指数（IoU），并能减少图像标注需要的人工专家时间，提高超声图像分析中人工智能辅助的实际应用。
visual in-context learningsimiclself-supervised learningbony structures segmentationultrasound dataset
发现论文，激发创造
  • SegICL: 一个用于增强医学影像分割的通用上下文学习框架

    通过 In-Context Learning (ICL) 实现的 SegICL 是一种新颖的方法，它能够在无需训练或微调的情况下，利用文本引导分割和上下文学习来应对在分布之外的数据模态和任务上的新分割任务。实验结果表明，SegICL 能够有效地利用上下文信息来处理新的分割任务，并在在分布和分布之外的任务上展示出可比较的分割性能。

    Mar, 2024

  • 走向更统一的上下文视觉理解

    我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

    Dec, 2023

  • 面向视觉与语言模型的多模态上下文学习

    通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

    Mar, 2024

  • 单幅图像中的一切：大型多模态模型是图像学习器

    该论文介绍了一种新的上下文学习机制 ——In-Image Learning（I²L），将示范示例、视觉线索和指令结合到一张图像中，以增强 GPT-4V 的能力，并通过图像处理、理解和推理能力来整合所有信息，从而避免了复杂图像的文本描述不准确、位置示范示例灵活、输入负担减少、避免多张图像和冗长文本的输入限制等优势。通过引入自动策略选择适当的 ICL 方法，我们进一步整合了不同 ICL 方法的优势，对 MathVista 和 Hallusionbench 进行了实验，测试了 I²L 在复杂多模态推理任务中的有效性以及对语言幻觉和视觉错觉的缓解作用，并探讨了图像分辨率、示范示例数量和位置对 I²L 有效性的影响。我们的代码公开可用于此 https 网址。

    Feb, 2024

  • 计算机视觉中背景学习的灵活视觉提示

    通过对现代视频对象分割技术的可视化上下文学习方法进行改进，我们提出了一种用于图像分割的上下文学习方法，并通过在支持集大小和不同分割数据集上进行评估，验证了该方法在效果上超越现有技术，并在包含训练集未遇到的类别的数据上表现出色，另外我们还提出了一种支持集选择技术，通过选择最相关的图像来提高各种测试方法的性能，而无需进行额外的训练或提示调整。

    Dec, 2023

  • 大规模视觉语言模型的视域内学习

    通过引入一种新颖的视觉上下文学习方法（VICL），包括视觉演示检索、目标导向图像摘要和目标导向演示组合，解决了大型视觉语言模型（LVLMs）中上下文学习的挑战，提高了效果，并且进一步调查了演示文本长度和位置对 LVLM 的影响，展示了 ICL 复位特定模型知识的潜力。

    Feb, 2024

  • 操纵标签空间进行上下文分类

    在这项研究中，我们提出了两种策略，即标签分布增强和视觉描述增强，以提高多样数据集上的上下文分类性能，包括经典的 ImageNet 和更细粒度的数据集，如 CUB-200。具体而言，我们的方法在 ImageNet 上将准确率从 4 次迭代中的 74.70％提高到仅需要 2 次迭代即可达到 76.21％，超过 CLIP 0.67％。在 CUB-200 上，我们的方法将 1 次迭代的准确率从 48.86％提高到 69.05％，比 CLIP 高出 12.15％。

    Dec, 2023

  • 理解和优化视觉 - 语言模型中的上下文学习

    通过对视觉 - 语言模型的大规模（LLMs）模型进行背景学习（ICL），本研究发现在 VLMs 中，ICL 主要受到演示的文本信息的驱动，视觉信息对 ICL 性能的影响较小。鉴于该发现，通过分析模型信息流和不同 ICL 设置下的模型内部状态，我们提出了一个简单而有效的方法 MMICES（Mixed Modality In-Context Example Selection），它在选择演示时考虑了视觉和语言两个模态，并显示出更好的 ICL 性能。通过大量实验证实了我们的发现，对 VLMs 的 ICL 性能的理解和改进进行了支持。

    Nov, 2023

  • 统一演示选择与压缩以实现上下文学习

    ICL 的框架 UniICL 通过一个冻结的 LLM 统一了演示选择、演示压缩和响应生成，并实现了有效的缩放，从 4-shot 到 64-shot 的 ICL 提高了 12 倍。

    May, 2024

  • 模拟学者：具有图像扩散模型的即刻视觉环境学习

    通过使用在图像修复中预训练的文本到图像扩散模型，我们提出了 Analogist 作为一种新颖的推理型视觉上下文学习方法，旨在利用视觉和文本提示技术，提高任务的泛化能力和上下文感知能力，从而在各种视觉任务中取得优越性能。

    May, 2024