DiPrompT：分解的提示调节在联邦学习中用于多个潜在域泛化

Mar, 2024

DiPrompT：分解的提示调节在联邦学习中用于多个潜在域泛化

DiPrompT: Disentangled Prompt Tuning for Multiple Latent Domain Generalization in Federated Learning

Sikai Bai, Jie Zhang, Shuaicheng Li, Song Guo, Jingcai Guo...

TL;DR通过学习自适应提示，采用分布式学习的方式，提出了一种高效而新颖的方法 DiPrompT，解决了现有联邦学习方法中对域标签的限制问题，实现了优秀的域泛化性能和超越中心化学习方法的结果。

Abstract

federated learning (FL) has emerged as a powerful paradigm for learning from decentralized data, and federated domain generalization further considers the test dataset (target domain) is absent from the decentral

federated learning domain generalization disentangled prompt tuning distributed learning domain labels

发现论文，激发创造

领域感知联邦学习的双提示调优

本研究介绍了一种名为 Federated Dual Prompt Tuning (Fed-DPT) 的新方法，利用预训练的视觉 - 语言模型并应用视觉和文本提示调整来解决领域移位问题，并通过实验证明了其在领域感知的联邦学习中的重要有效性。

Oct, 2023

BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

Jan, 2024

测试时间域自适应的视觉提示调控

本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning，DePT)，其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中，在测试时自适应调整模型引用的提示以提升模型对目标域的表示，且具有适用于许多测试适应问题的能力。

Oct, 2022

基于提示的高效时域泛化

我们的研究论文提出了一种新颖的基于提示的时间域泛化方法，该方法具有参数高效、时间高效的特点，并且在训练过程中不需要访问目标域数据（即未来时间段的数据）。我们的方法通过学习全局提示、领域特定提示和感知潜在时间动态的提示，使目标预训练模型适应时间漂移。它适用于分类、回归和时间序列预测等各种任务，并在时间域泛化方面取得了新的最先进基准水平。代码仓库将公开共享。

Oct, 2023

FedPrompt: 基于联邦学习的高效通信和隐私保护 Prompt 调整

本文提供了一种名为 FedPrompt 的新方法，将 prompt tuning 和 federated learning (FL) 相结合，以在保护数据隐私的同时提高 FL 方法的效率。该方法在传统方法的基础上使用模型拆解聚合的方式来使用 prompt tuning，证明了这种方法减小了大量的通信成本，同时在 IID 和 Non-IID 数据分布上保证准确性，并且在实验中进一步证明了该方法的可靠性。

Aug, 2022

具有群组感知提示调整的异构联邦学习

在联邦学习中，我们利用预训练的 Transformer 和高效的提示调整策略，通过引入学习共享和组特定提示的概念，使全局模型能够自动适应各种局部客户数据分布，从而有效地弥合全局和个性化本地模型之间的差距，并超越以往无法适应之前未见客户的其他方法。

Oct, 2023

使用预训练 Transformer 的 S-Prompts 学习：领域增量学习的 Occam 剃刀

本研究提出了 S-Prompting 范式和两种方法，通过独立学习提示，从而高度减少领域增量学习（DIL）中的遗忘程度，实现了深度神经网络在连续学习中一个最典型的场景 -- 领域增量学习（DIL）中的最佳表现。

Jul, 2022

医学图像分类的基于提示的潜在领域泛化

我们提出了一种名为 Prompt-driven Latent Domain Generalization（PLDG）的新型无标签领域通用化（DG）框架，通过无监督领域发现和提示学习，实现了对医学图像分类的领域通用化，并在三个医学图像分类任务和一个去偏任务上展开了广泛实验，证明了我们的方法在不依赖领域标签的情况下实现了与传统 DG 算法相媲美甚至更好的性能。

Jan, 2024

领域泛化的 Prompt 视觉 Transformer

本论文提出了基于 prompt learning 的全新方法 DoPrompt，利用 domain prompts 嵌入源域的知识进行目标域的预测，针对视觉转换器 (ViT) 在领域泛化方面存在的问题，经过大量实验证明本文方法在四个基准数据集上获得了 1.4% 的精度提高，是基于 ViT 骨干结构的状态 - of-the-art 算法的 3.5 倍。

Aug, 2022

针对具有鉴别力的预训练语言模型的提示调节

该论文提出了 DPT 作为针对区分性 PLMs 的 prompt tuning 框架，并将自然语言处理任务转换为区分性语言建模问题。通过全面的文本分类和问答实验表明，与 vanilla fine-tuning 相比，DPT 在全集和低资源环境下都能显著提高性能，并解决了调整大型 PLMs 中的不稳定问题。

May, 2022