model heterogeneity | BriefGPT

关键词model heterogeneity

搜索结果 - 6

FedLoRA：具有 LoRA 调整的异构模型个性化联邦学习
基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验
PDF8 months ago
泛化的异构联邦交叉相关与实例相似度学习
本文提出了一种新的基于 FCCL + 的联邦相关性和相似性学习方法，通过非目标蒸馏，在异构参与方之间利用不相关的未标记公共数据进行通信，构建了交叉相关矩阵并在逻辑和特征层面上对实例相似度分布进行对齐，旨在解决模型异质性和灾难性遗忘问题，并为
PDF9 months ago
通过异构模型重组实现个性化联邦学习
本文提出了一种新颖的框架 pFedHR，用于解决联邦学习中模型异质性的实际挑战，通过利用异构模型重组实现个性化的联邦学习，在服务器端将异构模型个性化问题看作模型匹配优化任务，自动动态生成多样、具有信息量的个性化模型，减轻了使用具有不同分布的
PDFa year ago
医学影像中数据和模型异质性的联邦学习
本文提出了一种名为 MDH-FL 的方法，利用数据和模型的异质性，通过知识蒸馏和对称损失来提高联邦学习中全局模型的效率，实验证明该方法在医学数据集上比现有方法表现出更好的优越性。
PDFa year ago
无好老师的隐私保护联合蒸馏中的选择性知识共享
本文提出了一种新的联邦蒸馏机制（Selective-FD），其中包括客户端和服务器端选择器来准确地识别本地和集合预测的知识以增强联邦学习框架的泛化能力，并在实验中得到验证。
PDFa year ago
ICLR基于知识蒸馏的模型无关联合学习
该研究考虑设计一个通用的 API 用于联邦学习，但发现大多数基于知识蒸馏的联邦学习协议表现不佳，因此提出了一个新的理论框架（联邦核岭回归）来解决模型和数据异构性的问题，并根据知识蒸馏设计了新的协议，通过实验验证了该框架的理论预测。
PDF3 years ago