Jun, 2024

利用有限资源进行 Transformer 联合学习而不共享模型

PDF
TL;DR使用名为 Fed-Grow 的联邦框架，设计了一个名为 Dual-LiGO 的架构来帮助多个参与者从其预训练的小模型扩展到一个 Transformer，以提高模型的准确性和资源利用率，并保护用户的隐私。
resource consumptionfederated frameworkdual-ligo architecturepre-trained modelsprivacy
发现论文，激发创造
  • FedYolo：使用预训练变换器增强联邦学习

    本研究探讨了使用预训练转换器来实现设备上的联合学习目标，并深入研究了模型大小和模块化的作用，其中 Modularity 通过提示或适配器等模块实现适应性，Scale 能够减少通信次数。结果证明，使用单个通用模型可以解决多个不相关的任务，并且 FedYolo 是一种对规模和模块化具有新的启示且有效的联合学习方法。

    Jul, 2023

  • 大型语言模型预训练的未来是联邦式的

    利用联邦学习的灵活性和适应性，实现大规模的合作，以培训大型语言模型（LLM），并展示联邦训练的有效性与模型规模的关系，以及用有限资源训练十亿级联邦 LLM 的方法。

    May, 2024

  • 语言引导的联邦多标签分类的 Transformer

    提出了一种用于多标签分类的新型联邦学习框架（FedLGT），旨在解决用户异构性和标签相关性等挑战，通过在不同客户端之间传递知识来学习出稳健的全局模型，实验证明在多标签联邦学习场景下超过了标准联邦学习技术，并获得了令人满意的性能。

    Dec, 2023

  • 增强大规模异质联邦学习的展望与转换器

    分布式数据合作的联邦学习旨在解决数据隐私问题，该研究通过比较实验证明基于 Transformer 的联邦学习模型在大规模异构任务中具有泛化和个性化方面的优势。

    Aug, 2023

  • FedGT：具有可扩展图变换器的联邦节点分类

    提出了一种可扩展的 FedGraphTransformer（FedGT）方法，通过混合注意力机制解决了分布式图神经网络在局部子图更新中缺失链接的问题，以及子图异构性和数据隐私保护的问题。实验证明了 FedGT 的优越性。

    Jan, 2024

  • 跨设备联邦学习中语言模型尺寸的扩展

    本文利用局部模型训练、量化、有效的迁移学习和通信高效的优化器等技术来解决服务器 - 客户端通信和设备上计算的瓶颈，实现跨设备联邦学习中的较大语言模型训练，并且获得了与小型 LSTM 相当甚至更好的困惑度和更低的客户端到服务器通信成本。

    Mar, 2022

  • 面向联合学习中边缘节点的资源高效利用

    通过部分训练模型的策略，我们提出并评估了一种受迁移学习启发的联邦学习策略，以减少设备上的资源利用、服务器负载和网络负担，从而加速训练过程，有效利用设备资源，并在不影响全局模型准确性的情况下减少数据传输约 75% 和 53%。

    Sep, 2023

  • FedLoGe: 长尾数据下的联合局部与通用联邦学习

    本研究提出了一种名为 FedLoGe 的方法，通过在神经坍塌框架中集成表示学习和分类器对齐，提高了本地和通用模型的性能，从而加强了分布式长尾学习中全局模型和本地模型的表现。

    Jan, 2024

  • 通过层次训练和深度丢弃解决资源受限条件下的联邦学习

    大型机器学习模型通过联合学习和层级学习以解决资源限制问题，并在边缘设备上有效地训练更大型的模型，同时保持与传统联合学习相当的性能。

    Sep, 2023

  • 异构语言任务和客户资源下的分布式大型语言模型微调

    FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

    Feb, 2024