- RoseLoRA: 面向知识编辑和微调的稀疏低秩预训练语言模型的行列稀疏低秩适应
我们提出了一种新颖的 PEFT 方法,名为 RoseLoRA,该方法通过行列稀疏的低秩自适应来识别和更新特定任务中最重要的参数,从而在保持效率的同时保留其他模型的知识。
- 区块链增强的联邦推荐系统隐私可追溯策略
LIBERATE 是一个隐私可追溯的联邦推荐系统,设计了一种基于区块链的可追溯性机制,通过在数据共享和模型更新过程中确保数据隐私,并通过在用户与服务器之间的通信中融入本地差分隐私来进一步增强隐私保护。在真实世界数据集上的广泛评估证实了 LI - 面向客户驱动的联邦学习
本论文提出了一个名为 Client-Driven Federated Learning (CDFL) 的新颖联邦学习框架,用于解决传统的服务器驱动模式面临的异步需求与模型更新的挑战。在该框架中,每个客户端都独立地异步更新其模型,通过将本地训 - $α$VIL:学习如何为多任务学习利用辅助任务
多任务学习中,我们提出了一种名为 α- 可变重要性学习(αVIL)的新方法,该方法能够在模型训练过程中动态地调整任务权重,通过直接使用训练周期之间底层模型参数的任务特定更新,以在各种情境中超越其他多任务学习方法。据我们所知,这是首次尝试直接 - 利用一组优秀模型进行预测性用户流失
通过研究 Rashomon 集合中模型更新引起的冲突预测多样性,本文提出了一种传统多样性度量方法用于预测模型的非稳定预测数量,以及如何通过该方法预测、减少和避免消费者应用中的冲突。
- 分散联邦学习:安全与隐私的综述
去中心化联邦学习中的威胁变体、对手、潜在的防御机制、可信度和可验证性的研究。
- 通过双向选举和个体视角抵御联邦学习的后门攻击
基于个人视角,Snowball 是一种基于候选模型更新的双向选举机制的新型反后门联邦学习框架,通过与现有防御方案进行比较,展示了其对后门攻击的优越抵抗力和对全局模型准确性的轻微影响。
- 通过选择性参数微调克服通用知识丢失
本文介绍了一种更新基础模型以适应新信息并保留其原始能力的新方法,通过对一小部分参数进行本地化修改,并引入重要性评分机制来仅更新最关键的权重,在多样的持续学习任务中得到了全面评估,表明其能够提高现有的持续学习方法并减少已训练知识的损失。
- 机器遗忘的研究与分类调查
该论文综述了机器取消学习的最新技术和方法,包括数据删除、扰动和模型更新,并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外,该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向,并强调了研究人员和从业 - 维持稳定性与可塑性以预测降低流失率
本文介绍了一种用于缓解机器学习模型更新导致的预测准确性倒退的方法 ——Accumulated Model Combination。该方法将前面版本与当前版本的模型预测结果结合起来,有效地降低了错误率,并且不会增加额外的计算量与训练过程中的负 - 关于弥合解释权和被遗忘权之间差距的探讨
研究了算法决策及数据使用的解释权和被遗忘权,并提出了解决两种权利的冲突的算法框架,该框架可以生成对于数据删除请求具有鲁棒性的解释,生成的解释可针对线性模型和某些非线性模型进行最坏情况下的数据删除请求保护,经实际数据集实验表明该框架的有效性。
- 通过重用参数高效的提示来减少重新训练
该研究提出了几种 “Prompt Recycling” 方法,在不需要重新进行调整 prompts 的情况下,将源模型训练的 prompts 转换成适用于新目标模型的 prompts,从而实现对单个预先训练的大型语言模型进行多个任务的有效执 - 联邦学习中的权力分立
TRUDA 是一种新型的跨边缘计算联邦学习系统,采用可信的去中心化聚合体系结构降低了单个聚合器的信息集中化,并通过以参数为粒度的分解和重新随机拼接来维护模型更新的安全性和隐私性。
- 野外算法可追溯性:理解数据和模型漂移的影响
本文研究了模型更新对于算法补救方案的影响,实验证明数据分布的改变和模型升级会导致现有的算法补救方案失效,因此需要重新设计和开发算法补救方案。
- 针对鲁棒联邦学习的恶意客户检测学习
本文提出了一个新的框架,通过使用一个强大的检测模型,中央服务器可以学习来检测和移除恶意模型更新,从而实现有针对性的防御,以确保对拜占庭攻击和有针对性的模型毒化攻击具有鲁棒性的联合学习。
- 利用网络内聚合扩展分布式机器学习
SwitchML 是一种通信基元,通过使用可编程交换机数据平面执行培训过程的关键步骤,从而将来自多个网络工作人员的模型更新聚合,与终端主机协议和 ML 框架共同设计以提供高效解决方案,最多可将培训速度加速 5.5 倍。