Oct, 2024

人类与自动提示在“随意分割模型”中的基准测试

HTML
PDF
TL;DR本研究解决了自动视觉提示策略在图像分割任务中相较于人类提示的适用性不足及其在细调过程中的效果未被探索的问题。研究结果表明，人类提示的分割得分比自动策略高出约29%，并且细调自动方法可提高其表现多达68%。此研究不仅揭示人类与自动提示之间的差距，还提出了通过改进视觉提示设计来缩小这一差距的潜在方向。
发现论文，激发创造
  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在12个流行的分类数据集上创造了82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • 细粒度视觉提示

    本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

    Jun, 2023

  • AutoVP：自动视觉提示框架与基准

    以視覺提示（VP）作為研究對象，本文提出了AutoVP框架，用於自動化VP設計選擇，同時評估其性能。通過對12個下游圖像分類任務進行綜合性能評估，實驗結果顯示AutoVP優於當前已知VP方法，並提供了高達6.7％的準確率改進和最高27.5％的性能增益。

    Oct, 2023

  • 视觉背景提示

    本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在COCO和SA-1B上进行联合训练，我们的模型在COCO上达到57.7 PQ，在ADE20K上达到23.2 PQ。

    Nov, 2023

  • AI-SAM: 自动交互式分段模型

    我们介绍了一种新颖的范式及其第一个模型：自动与交互式分割模型（AI-SAM）。在这个范式中，我们对提示品质进行了全面分析，并引入了创新的自动与交互式提示器（AI-Prompter），它在自动生成初始点提示的同时接受额外的用户输入。我们的实验结果证明了AI-SAM在自动设置下的有效性，实现了最先进的性能。更重要的是，它提供了灵活性以整合额外的用户提示，从而进一步提升性能。项目页面可在链接提供的URL中找到。

    Dec, 2023

  • VRPTEST：大型多模态模型中视觉引导提示的评估

    通过对大型多模态模型（LMMs）的全面评估和基于视觉引导提示的不同策略的现有研究，本研究找到了提高LMMs性能的潜力和改进空间，并揭示了视觉引导提示对LMMs准确性的重要影响。

    Dec, 2023

  • 学习对呼叫分段任何模型

    通过空间-语义提示学习有效的语义和空间提示，优化了 SAM 模型在图像分割性能上的效果。

    Jan, 2024

  • 以低延迟、高质量和多样化提示的方式重新思考交互式图像分割

    SegNext是下一代交互式分割方法，具有低延迟、高质量和多样化的支持，通过引入密集设计，细化各种视觉提示的表示，提高了综合型模型的分割质量，在HQSeg-44K和DAVIS上表现出色。

    Mar, 2024

  • 自我提示使SAM重新焕发光彩

    该研究针对Segment Anything Model（SAM）在特定领域（如医学图像）应用时性能下降的问题，提出了一种新颖的自我提示微调方法（SAM-SP）。这一方法减少了对专家级提示的依赖，提高了模型的适用性和分割性能，实验结果验证了其在各种特定领域数据集中的有效性。

    Aug, 2024

  • 人类与自动化提示在Segment Anything模型中的基准比较

    本研究解决了现有图像分割任务中自动化视觉提示与人类提示之间的理解不足问题。通过引入PointPrompt数据集和一系列基准任务，作者展示了人类提示的表现比自动化策略高出约29%，并识别出影响提示性能的关键因素。此外，采用微调方法可使自动化策略的性能提高最多68%。

    Oct, 2024