Aug, 2023

SLPT：基于限制标签的病变分割的选择性标定与提示调整

PDF
TL;DR使用深度学习进行医学图像分析时，由于有限的标记数据和高昂的注释成本，往往面临挑战。本文提出了一种将选择性标记与提示调整相结合的框架（SLPT），以提高有限标签下的性能，同时保持预训练模型不变，通过仅使用有限标记数据对这些参数进行更新。该框架包括了一个特征感知提示更新器，以引导提示调整，并采用基于提示的不确定性的无监督多样性选择和有监督选择。此外，我们提出了一种多样化的视觉提示调整策略，为选择性标记提供多提示的不同预测。在肝肿瘤分割任务上，我们的方法取得了最先进的性能，仅使用可调参数的 6%，仅标记了 5% 的数据即可达到全数据性能的 94%。
medical image analysisdeep learningprompt tuningselective labelinglimited labeled data
发现论文，激发创造
  • LPT: 长尾蛇形提示调整技术用于图像分类

    提出了一种有效的长尾 Prompt 调整方法用于长尾分类。该方法使用两个阶段的培训范例来学习训练可调节的提示符。实验证明，与之前的整个模型微调方法相比，此方法具有可比较的性能，并且更加强大。

    Oct, 2022

  • PromptDA: 基于标签的数据增强，针对基于提示的小样本学习

    本研究利用丰富的标签语义信息提出了一种新颖的标签引导数据增强框架 PromptDA，通过有效地利用标签语义和数据增强来提高自然语言理解的性能，以解决如何为基于 Prompt 的 few-shot 调整设计有效的数据增强方法的重要研究问题。

    May, 2022

  • 晚阶段调优：晚期提示可能比诸多提示更好

    该研究提出了一种名为 Late Prompt Tuning (LPT) 的 PETuning 方法，它将追加的提示插入到 PTM 的中间层而非输入层或所有层，并通过一个神经提示生成器获得实例依赖的提示，具有更快的训练速度和更低的内存成本，可在全数据和少样本场景下实现与全模型调整和其他 PETuning 方法竞争的性能。

    Oct, 2022

  • 个性化对话的选择性提示调整与 LLMs

    SPT 模型能够通过选择性提示调整语言模型以实现个性化对话，大幅提高响应的多样性，并改善其他关键性能指标，从而在促进吸引人和个性化对话生成方面显示出高效性。

    Jun, 2024

  • L-TUNING：LLM 中的 Prompt 和 Prefix 同步标签调整

    传统方法在对大型语言模型（LLMs）进行任务微调时面临着挑战。这篇论文介绍了一种名为 L-Tuning 的有效微调方法，专为自然语言推理（NLI）框架中的分类任务而设计，通过对预训练 LLM 进行标签令牌的微调，从而改善模型的训练效果和分类准确度，并提高训练效率。

    Dec, 2023

  • LSPT: 长期空间提示调整用于视觉表示学习

    长期空间提示调整 (LSPT) 是一种革命性的视觉表示学习方法，通过引入长期的门控提示，巧妙地结合了时间编码和空间编码，提高了视觉类别的区分和识别能力，同时在 5 个 FGVC 和 19 个 VTAB-1K 基准测试中展示了优于其他方法的性能。

    Feb, 2024

  • 借助学习的提示层改进提示调优

    本文提出了一种新颖的框架，Selective Prompt Tuning (SPT)，通过在每个中间层插入由可学习的概率门控制的提示来学习选择适当的提示层，进一步提出了一种新颖的双层优化框架 SPT-DARTS，可以更好地优化可学习门并改善所学提示层设置的最终提示调整性能，实验证明我们的 SPT 框架在全数据和少样本情况下比以往的最先进的 PETuning 基准方法表现更好，参数可调性相当或更少。

    Oct, 2023

  • 适应缺少样本的自然语言生成的比例调优

    本文研究了参数高效微调方法和少样本自然语言生成，提出了一个超越传统方法且在训练成本上没有明显增加的方法，同时通过中间实验证明了该方法在少样本场景中的卓越可迁移性，为数据不充足和计算有限的情况提供了解决方案。此外，综合比较了多种参数高效微调方法，揭示了在少样本自然语言生成任务中某些方法在挑战性数据集上可能存在困难。

    Sep, 2023

  • 用于视觉语言预训练模型的近似提示调优

    本研究提出了一种名为 “Approximated Prompt Tuning” 的方法，用以提高视觉语言预训练模型的迁移学习效率，其基于软提示令牌的独立信息扩散步骤，从而有效地避免了昂贵的全局关注建模，并显著降低了计算复杂度。

    Jun, 2023

  • 改进提示调整中的文本语义是否可以提高 VLM 的泛化能力？

    通过利用来自大型语言模型（LLM）的类别描述，我们引入了一种基于部分级别描述引导的图像和文本特征对齐方法，以构建更加可泛化的提示，并通过在 11 个基准数据集上的全面实验验证，超越了现有方法，取得了实质性的改进。

    May, 2024