AAAIJan, 2024

内存高效的增量组织病理学分类提示调节

PDF
TL;DR近期的研究在组织病理学分类方面取得了显著进展，提出了一种基于内存高效的提示调优框架，通过使用领域特定和领域不变的提示来提高模型的泛化能力，并且在乳腺癌转移分类和上皮结缔组织分类等任务上表现出卓越的性能和内存效率。
histopathology classificationmemory-efficient prompt tuningdomain-specific promptdomain-invariant promptgraph attention network
发现论文，激发创造
  • 无需重复训练的层次提示连续学习

    本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

    Jan, 2024

  • 测试时间域自适应的视觉提示调控

    本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

    Oct, 2022

  • 基于提示的高效时域泛化

    我们的研究论文提出了一种新颖的基于提示的时间域泛化方法，该方法具有参数高效、时间高效的特点，并且在训练过程中不需要访问目标域数据（即未来时间段的数据）。我们的方法通过学习全局提示、领域特定提示和感知潜在时间动态的提示，使目标预训练模型适应时间漂移。它适用于分类、回归和时间序列预测等各种任务，并在时间域泛化方面取得了新的最先进基准水平。代码仓库将公开共享。

    Oct, 2023

  • 使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

    本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。

    Jul, 2022

  • DiPrompT：分解的提示调节在联邦学习中用于多个潜在域泛化

    通过学习自适应提示，采用分布式学习的方式，提出了一种高效而新颖的方法 DiPrompT，解决了现有联邦学习方法中对域标签的限制问题，实现了优秀的域泛化性能和超越中心化学习方法的结果。

    Mar, 2024

  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • 医学图像分类的基于提示的潜在领域泛化

    我们提出了一种名为 Prompt-driven Latent Domain Generalization（PLDG）的新型无标签领域通用化（DG）框架，通过无监督领域发现和提示学习，实现了对医学图像分类的领域通用化，并在三个医学图像分类任务和一个去偏任务上展开了广泛实验，证明了我们的方法在不依赖领域标签的情况下实现了与传统 DG 算法相媲美甚至更好的性能。

    Jan, 2024

  • 基于提示的自适应模型转换用于大规模图像分类

    多实例学习（MIL）作为一种流行的方法正在用于对组织病理学全幅切片图像进行分类。作者提出了 PAMT，这是一种新颖的基于提示的自适应模型转换框架，通过无缝地将预训练模型适应组织病理学数据的特点来提高 MIL 分类性能。作者引入了代表性补丁采样（RPS）和典型视觉提示（PVP）来重构输入数据，构建一个紧凑而且信息丰富的表示。此外，为了缩小域差异，作者在特征提取流水线中引入了适应性模型转换（AMT），使预训练模型能够学习特定领域的特征。作者在两个公开数据集 Camelyon16 和 TCGA-NSCLC 上对该方法进行了严格评估，展示了各种 MIL 模型的显著改进。作者的发现证实了 PAMT 在 WSI 分类中的潜力，强调了有针对性的重新编程方法的价值。

    Mar, 2024

  • 领域泛化的 Prompt 视觉 Transformer

    本论文提出了基于 prompt learning 的全新方法 DoPrompt，利用 domain prompts 嵌入源域的知识进行目标域的预测，针对视觉转换器 (ViT) 在领域泛化方面存在的问题，经过大量实验证明本文方法在四个基准数据集上获得了 1.4% 的精度提高，是基于 ViT 骨干结构的状态 - of-the-art 算法的 3.5 倍。

    Aug, 2022

  • 对话状态跟踪的继续提示调整

    本文提出了一种连续的提示调整参数有效的框架，可避免对旧任务的遗忘并在任务之间实现知识转移，验证实验表明该方法在对话状态跟踪领域中具有有效性和高效性。

    Mar, 2022