CVPRMar, 2024

文本增强的无数据联邦类增量学习方法

PDF
TL;DR利用预训练语言模型生成的标签文本嵌入（LTE），通过在模型训练阶段将样本嵌入约束在这些锚点周围，丰富了周围区域的有意义信息，从而更好地解决了遗忘问题。同时，引入了边界损失以保留样本嵌入的灵活性，减少异构联邦环境中的嵌入重叠，使得 LANDER 在 FCIL 中表现出色。
federated class-incremental learningdata-free knowledge transferlanderlabel text embeddingsbounding loss
发现论文，激发创造
  • 基于扩散生成记忆的无数据联邦类增量学习

    本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。

    May, 2024

  • 数据驱动高效与有效的无数据知识蒸馏

    提出了一种基于嘈杂层生成方法（NAYER）的无数据知识蒸馏技术，能够通过利用含有大量有意义的跨类信息的标签文本嵌入（LTE）作为输入来生成高质量样本，并通过嘈杂层防止模型过度强调受限制的标签信息，从而在保持方法效率的同时促进生成多样样本的方法。实验结果表明，NAYER 方法在多个数据集上不仅优于现有技术，而且比之前的方法快 5 到 15 倍。

    Sep, 2023

  • 语言引导的联邦多标签分类的 Transformer

    提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

    Dec, 2023

  • FedET：一个基于增强 Transformer 的通信有效联邦类增量学习框架

    本文提出了一种名为 FedET 的框架，它使用预训练 Transformers 并结合 Enhancer，通过增强新知识来实现低通信成本和高精度，同时引入 Enhancer 蒸馏方法解决新任务新类别和不同本地客户端之间的非 i.i.d 类别不平衡问题，实验结果表明，与现有方法相比，FedET 在代表性基准数据集上的平均准确率提高了 14.1％，通信成本节省了 90％。

    Jun, 2023

  • 联邦视觉任务中缓解灾难性遗忘的无数据方法

    本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

    Nov, 2023

  • 联邦式增量类别学习与提示

    提出了一种名为 FCILPT 的新方法，通过使用提示来减轻旧类别的灾难性遗忘，将与任务相关和任务不相关的知识编码到提示中，解决了非独立分布的数据和新类别的到来所导致的问题。在 CIFAR-100、Mini-ImageNet 和 Tiny-ImageNet 的实验证明 FCILPT 相比现有方法取得了显著的准确性改进。

    Oct, 2023

  • FedProK: 基于样本原型特征知识迁移的可信联邦增量学习

    Federated Class-Incremental Learning (FCIL) aims to improve trustworthiness by transferring knowledge using FedProK, a method that leverages prototypical feature knowledge transfer, demonstrating superior performance in spatial-temporal knowledge transfer.

    May, 2024

  • 基于知识转移的 Few-Shot 类增量学习

    提出了一种基于知识传递的关系补充网络（KT-RCNet）方法，使用多样的伪增量任务作为代理来实现知识传递，并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标，实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。

    Jun, 2023

  • Always Be Dreaming: 无数据增量学习的新方法

    本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

    Jun, 2021

  • R-DFCIL: 基于关系引导的数据无关类增量学习表征学习

    本文提出了一种基于关系指导的表征学习方法，用于解决数据自由的类增量学习（DFCIL）中出现的遗忘问题，并展示了其在三个数据集上实现了新的最优性能。

    Mar, 2022