FedLLM-Bench：面向大型语言模型的联邦学习实验基准

Jun, 2024

FedLLM-Bench：面向大型语言模型的联邦学习实验基准

FedLLM-Bench: Realistic Benchmarks for Federated Learning of Large Language Models

Rui Ye, Rui Ge, Xinyu Zhu, Jingyi Chai, Yaxin Du...

TL;DR基于 FedLLM-Bench 数据集，我们在多个数据集上进行了实验，对现有的 FL 方法进行了基准测试，在多语言协作等方面提供了实证见解。

Abstract

federated learning has enabled multiple parties to collaboratively train large language models without directly sharing their data (FedLLM). Following this training paradigm, the community has put massive efforts from diverse aspects including framework, performance, and privacy. Howev

federated learning fedllm-bench datasets fl methods empirical insights

发现论文，激发创造

OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型

通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

Feb, 2024

FedEval-LLM：基於集體智慧的對下游任務進行大型語言模型的聯邦評估

提出了一种名为 FedEval-LLM 的大型语言模型联邦评估框架，通过利用参与者提供的个性化语言模型，提供了一种可靠的大型语言模型在下游任务中的性能测量方式，确保了强大的隐私保护能力，解决了传统评估方法和对外部服务的依赖性的限制，是协作训练场景中语言模型评估的一种有前景的框架。

Apr, 2024

一个以用户为中心的评估大型语言模型的基准

我们提出了从用户角度对大型语言模型进行基准测试，旨在更好地反映实际用户需求，并且我们还构建了用户报告场景数据集以及对 10 个语言模型服务在满足用户需求方面的基准测试。

Apr, 2024

FedScale：大规模联邦学习模型和系统性能基准测试

介绍了 FedScale，一种联邦学习测试套件，具有现实数据集和可扩展运行时，旨在支持可重复制的联邦学习研究，可以进行系统性测试以提高异构感知的联合优化能力。

May, 2021

FedJudge: 联合法律大型语言模型

通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。

Sep, 2023

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

3DBench：可扩展的 3D 基准测试和指令调优数据集

评估多模态大型语言模型（MLLMs）的性能，集成点云和语言，面临重大挑战。缺乏全面评估阻碍确定这些模型是否真正代表进步，从而妨碍该领域的进一步发展。我们引入了可扩展的 3D 基准测试和大规模指令调整数据集 3DBench，提供了一个全面评估 MLLMs 的可扩展平台，以解决这些问题。该基准测试覆盖了从物体级到场景级的广泛空间和语义范围，涉及感知和规划任务，并且我们提出了一个严格的流程来自动生成可扩展的 3D 指令调整数据集，总共涵盖了 10 个多模态任务，共生成了超过 23 万个问答对。通过对热门 MLLMs 的彻底实验评估、与现有数据集的比较以及训练方案的变异，我们展示了 3DBench 的优越性，为当前的局限性和潜在研究方向提供了有价值的见解。

Apr, 2024

FedML：联邦机器学习研究库与基准

介绍了一个开放的研究库和基准，名为 FedML，旨在促进联邦学习算法的开发和公平性能比较，支持三种计算范例，并带有灵活和通用的 API 设计和全面的参考实现。

Jul, 2020

FATE-LLM：用于大型语言模型的工业级联邦学习框架

FATE-LLM 是用于大型语言模型的工业级联合学习框架，通过联合学习促进大型语言模型的高效训练、采用参数高效微调方法、保护知识产权、通过隐私保护机制在训练和推理过程中保护数据隐私。

Oct, 2023

全球联合训练语言模型

通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

May, 2024