ICMLJul, 2023

Fed-CPrompt：用对比提示实现无重训练联邦永续学习

PDF
TL;DR本文针对无需重复训练的联邦持续学习 (Rehearsal-free Federated Continual Learning, FCL) 的严重遗忘问题提出了 Fed-CPrompt 方法，该方法利用提示学习技术以通信有效的方式获取任务特定提示，该方法的两个关键组成部分异步提示学习和对抗持续损失分别处理异步任务到达和异构数据分布，并通过广泛的实验证明了 Fed-CPrompt 在实现最先进的无需重复学习 FCL 性能方面的有效性。
federated continual learningrehearsal-free fclprompt learning techniquesasynchronous prompt learningcontrastive continual loss
发现论文，激发创造
  • 联邦式增量类别学习与提示

    提出了一种名为 FCILPT 的新方法，通过使用提示来减轻旧类别的灾难性遗忘，将与任务相关和任务不相关的知识编码到提示中，解决了非独立分布的数据和新类别的到来所导致的问题。在 CIFAR-100、Mini-ImageNet 和 Tiny-ImageNet 的实验证明 FCILPT 相比现有方法取得了显著的准确性改进。

    Oct, 2023

  • 个性化联邦持续学习多层粒度提示

    个性化联邦连续学习是一个新的实际场景，对于知识的共享和个性化提出了挑战。我们提出了一种多粒度提示的方法，通过协同模型学习获得粗粒度全局提示，用于高效传输共享的全局知识，并通过细粒度的本地提示个性化学习以克服时序遗忘。我们还设计了一种选择性提示融合机制，通过独特的粗粒度知识融合实现了共享知识的传输和提炼，从而提高了个性化性能。实验结果表明，我们的方法在解决空时遗忘和改善个性化性能方面是有效的。

    Jun, 2024

  • 无需重复训练的层次提示连续学习

    本文介绍了一种无需复盘的延续学习新范式，称为分层提示（H-Prompts），包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识，通过跨任务知识挖掘来减少过去任务知识的遗忘，并利用自监督方式推导出高度概括的通用知识。在两个基准测试中，证明了所提出的 H-Prompts 的高效性，分别在 Split CIFAR-100 上达到了 87.8％的平均准确率，以及在 Split ImageNet-R 上达到了 70.6％的准确率。

    Jan, 2024

  • DualPrompt：无需复习的连续学习的互补提示

    DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架，通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的，表现出卓越的性能。

    Apr, 2022

  • 联合提示学习中通用化与个性化的协调

    通过使用预先训练的视觉语言模型（VLM）调整提示，联邦提示学习（FPL）将大规模预训练的视觉语言模型（VLM）整合到联邦学习中，以达到在个性化和泛化之间取得平衡的目标。

    May, 2024

  • 文本驱动的视觉语言模型联邦学习中的提示生成

    通过提出联合文本驱动的提示生成 (FedTPG) 方法，在多个远程客户端上学习统一的提示生成网络，从而解决了现有提示学习技术在泛化到未知类别方面的挑战，实现了针对已见和未见类别的更好泛化，并且对未见数据集也具有泛化能力。

    Oct, 2023

  • INCPrompt：面向任务感知的递增提示的无预演练类递增学习

    本文介绍了 INCPrompt，一种创新的连续学习解决方案，有效地解决了灾难性遗忘问题。INCPrompt 的关键创新在于使用了自适应关键学习者和任务感知提示，捕捉任务相关信息。通过在多个连续学习基准测试中进行全面评估，我们证明了 INCPrompt 相对于现有算法的优越性，显示了其在缓解灾难性遗忘的同时保持高性能的效果。这些结果突显了任务感知增量提示对连续学习性能的重要影响。

    Jan, 2024

  • CODA-Prompt: 基于分解注意力的持续提示学习

    提出了一种注意力机制的端到端关键查询方案，该方案使用输入为条件的权重来组装预置组件以生成输入为条件的提示，以解决在不断变化的训练数据中进行学习时出现的过度遗忘问题，并在多个基准测试中大幅提高了准确度。

    Nov, 2022

  • 无需演练的联邦领域增量学习

    我们引入了一种无需复习的联邦域增量学习框架 RefFiL，基于全局提示共享范式，以缓解联邦域增量学习中的灾难性遗忘挑战，不需要额外的内存空间，适用于隐私敏感和资源受限设备。

    May, 2024

  • 无插值复习的连续学习一致提示

    本文提出了一种新的基于提示的方法，Consistent Prompting（CPrompt），用于更加一致的训练和测试，在多个持续学习基准测试中实现了最新的性能表现。

    Mar, 2024