- 通过私有化联合编辑增强大型语言模型的数据隐私
利用私有关联编辑(Private Association Editing,PAE)的方法,本研究针对大型语言模型(Large Language Models,LLMs)的私人数据泄露问题进行了防御,在不重新训练模型的情况下,有效地移除个人可 - 语义深度隐藏用于鲁棒的无法学习的示例
在确保数据隐私和保护的时代,我们提出了一种深度隐藏方案,适应性地隐藏富含高级特征的语义图像,通过不可见地集成预定义图像并结合欺骗性扰动隐藏它们,以增强数据的不可学习性和阻止未经授权的数据探索。
- Meta-FL: 面向异构模型聚合的新型元学习框架在联邦学习中的优化
元联邦学习通过优化的元汇聚器导航异构模型更新的复杂性,利用元特征增强了全局模型的性能,从而保证了对每个本地模型准确性的个性化汇聚。在四个与医疗相关的数据集上进行的实证评估显示,Meta-FL 框架具有适应性、效率、可扩展性和鲁棒性,优于传统 - 揭开潜在记忆:评估大型语言模型中的数据泄露和记忆模式
该研究通过评估训练数据的统计特征对模型中的记忆编码产生的影响,重现了重复次数对记忆序列遗忘概率的对数标度关系,并发现即使没有后续接触,经过多次训练的数据仍然可以在训练过程中被揭示。由于这些潜在的记忆序列可能隐藏在模型的最终检查点上,这对数据 - 高效通信与隐私保护的分散化元学习
在这篇论文中,我们提出了一种名为 LoDMeta(本地分布式元学习)的方法,利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明,LoDMeta 与集中式元学习算法相比具有相似的元学习准确性,但 - 隐私保护异构联邦学习敏感医疗数据
我们提出了一个名为 AAFV 的新框架,它能够在协同训练异构本地模型的同时保护数据隐私,通过将新的放弃感知投票机制和差分隐私机制集成到本地模型的预测中,实现高效学习和模型保密。
- 异质联合边缘学习的快速收敛:自适应协作信令辅助数据组播方法
基于群集数据共享的联邦边缘学习 (FEEL) 是为 6G 超连接而出现的分布式机器学习范式,通过保护数据隐私,利用物联网设备的数据。为了解决 FEEL 中的统计不平衡问题,我们引入了一个集群数据共享框架,通过辅助多播来选择性地从集群头部共享 - 驱动群体智能的联邦学习大语言模型:调查报告
调查了联邦学习大型语言模型的最新进展,重点关注了机器遗忘这一关键方面,以符合数据隐私和被遗忘权等隐私法规;通过探索各种策略,如扰动技术、模型分解和增量学习等,而无需从头重新训练,实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献,强调 - 异构图神经网络下的联邦多视角聚类
通过引入具有异质图神经网络的不完整多视图聚类框架(FIM-GNNs),我们解决了由于缺乏标签信息和数据隐私的重要性而导致的异构特征数据的有效挖掘困难,以及分布式环境中多视图数据的固有不完整性使得聚类过程复杂化的问题。
- GENIU: 一种用于不平衡数据的有限数据访问去学习方法
GENIUn 是第一个在不平衡数据设置和受限数据访问条件下进行类忘记的实用框架,通过使用一个变分自动编码器和批内调整策略,它能够在未来的忘记中保留重要信息。
- 重新思考图分类中噪声标签的影响:从实用性和隐私角度的观察
基于消息传递机制的图神经网络在图分类任务中取得了先进的结果,然而,在训练数据中存在噪声标签时,它们的泛化性能会下降。本文从数据隐私和模型效用的角度来衡量噪声标签对图分类的影响,发现噪声标签会降低模型的泛化性能,并增强对图数据隐私的成员推理攻 - 隐私保护的协作聚类优化参数选择
本研究调查了确保数据隐私的情况下,协同聚类的最佳参数选择。我们关注协同框架中的关键聚类算法,多个数据所有者结合其数据。半可信服务器协助推荐最适合的聚类算法及其参数。我们发现,隐私参数(ε)对服务器的推荐影响最小,但 ε 的增加会增加会员推理 - 从长期存在的问题到新兴的困境剖析大型语言模型的伦理
本文全面调查了与大型语言模型(LLMs)相关的伦理挑战,从长期存在的问题,如侵犯版权、系统性偏见和数据隐私,到新兴问题,如真实性和社会规范。我们批判性地分析了现有研究,旨在理解、审查和减轻这些伦理风险。我们的调查强调了将伦理标准和社会价值融 - 基于 1-D 卷积神经网络的联合学习在线签名验证
提出了一个利用 1-D 卷积神经网络和联邦学习框架进行在线签名验证的新方法,实验结果证明了该框架在 1-D 卷积神经网络和联邦学习方面的有效性,具有最小化本地计算资源、通过丰富的初始化数据增强传递效果以及卓越的可伸缩性等特点。
- 用层次生成原型来减少联邦式增量学习中的偏见
该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法,从而提高全局模型的预测准确性,并在平均准确率上提供了 7.9% 的增加。
- 机器学习及其之后的遗忘:一项调研
这份论文调查了机器学习中遗忘的多方面本质,从神经科学研究中得出结论,认为遗忘是一种适应性功能而非缺陷,它能增强学习过程,防止过拟合,并与各种机器学习子领域的应用联系,以提高模型性能和增强数据隐私。此外,本文还讨论了将遗忘机制整合到机器学习模 - 用于部分重叠临床数据的联邦随机森林
医疗数据的隐私保护、部分重叠特征的处理以及联邦随机森林对临床数据的有效性评估是提升协作性研究和企业合作的有希望的解决方案。
- FedMAP:通过双层映射优化解锁个性化联邦学习的潜力
一个基于双层优化的贝叶斯个性化联邦学习框架,利用全局模型作为先验分布,在个性化客户模型的最大后验估计中集成共享知识,从而增强本地模型性能、泛化能力和通信效率,以解决联邦学习中非独立同分布数据带来的挑战。
- ORLM:训练大型语言模型用于优化建模
通过训练开源的大型语言模型(LLMs)来处理自动化优化建模中的数据隐私问题,提出了定制化合成数据的半自动化过程(OR-Instruct),并在实际应用中实现了显著改进的优化建模能力。
- P4: 私密、个性化和点对点学习
通过开发 P4(Personalized Private Peer-to-Peer)方法解决个性化学习中的客户聚类和数据隐私的挑战,保证每个客户在培训期间和培训后维护不同的隐私保证,并在多个基准数据集和不同的神经网络模型上展示了相对于差分隐