collaborative training | BriefGPT

关键词collaborative training

搜索结果 - 33

快速同态计算的近似设计提供差分隐私保证
本研究旨在通过设计一种远程数据隐私保护算法，利用概率近似算子，使得同步训练的目标模型能够在保证差分隐私的前提下，更好地应用于深度学习领域，并优化计算效率。
PDFa year ago
医疗人工智能模型的非均匀标签协同训练
本论文提出了一种新的框架 —— 灵活的联邦学习（FFL），可用于协作训练医疗图像分析的大型、异质标记数据集，研究表明，使用 FFL 训练的模型优于仅使用匹配标记训练的模型。
PDF2 years ago
基于图神经网络的在线跨层知识蒸馏与深度监督
本文提出一种在线知识蒸馏框架 ——Alignahead++，它通过一种交替的训练过程，将学生模型的结构和特征信息转移给另一个同时训练的学生模型的前一层，同时在每个中间层添加辅助分类器以避免过度平滑问题。实验结果表明，在不需要预训练模型的监督
PDF2 years ago
Nebula-I: 低带宽云集群上协同训练深度学习模型的通用框架
该论文介绍了一个名为 Nebula-I 的框架，用于在远程异构集群之间协作训练深度学习模型，展示了 NLP 的实例运行。Nebula-I 应用了参数高效的训练策略、混合并行计算方法和自适应通信加速技术，同时采用安全策略以保证计算和通信的安全
PDF2 years ago
Alignahead: 基于图神经网络的在线跨层知识提取
本研究提出了一种基于在线学习的知识蒸馏框架，使用协作式训练方法中的互为同步的学生模型来提高图神经网络嵌入表示的性能，而不需依赖于一个预先训练的教师模型；同时，使用跨层蒸馏策略来对齐每个学生模型之间的局部结构信息，从而提高模型收敛速度和准确性
PDF2 years ago
基于分组串并训练的异构联邦学习
本论文提出了一个数据异构鲁棒的联邦学习方法 ——FedGSP，该方法使用动态序列 - 并行协作训练的新概念，通过将 FL 客户端分配到同质组中最小化组与组之间的整体分布差异，增加并行度并通过一种新颖的 Inter-Cluster Group
PDF2 years ago
MM无线网络中的协作学习：介绍性概述
本文主要关注跨无线设备的协作训练，分布式机器学习算法解决了数据隐私和计算资源分散利用的问题，但无线设备的异构性与通信限制也给分布式算法设计带来了挑战。
PDF3 years ago
开放协作中的分布式深度学习
本文研究了 Deep Learning 中在协作训练上的瓶颈，提出了一种适用于协作训练的新算法框架，并在实际条件下展示了该方法对 SwAV 和 ALBERT 的预训练效果，结果表明该方法的性能与传统设置相当，成本仅为传统设置的一小部分。最后
PDF3 years ago
IJCAI基于多重合作教学的自己差异学习在跨领域人物再识别中的应用
本文提出了一种基于多个协同式网络共同进行域适应的行人再识别的解决方案，采用了均值教学机制，通过对多方面特征的发掘，解决了聚类方法引入噪声标签和忽略类内关系差异等问题，实验结果表明，在多个大规模数据集上，我们的方法与最先进的方法具有竞争力。
PDF3 years ago
MMDynaComm：通过动态通信调度加速边缘和云之间的分布式 CNN 训练
DynaComm 是一种新颖的调度程序，用于加速网络边缘处分布式卷积神经网络（CNN）的训练，通过动态将每个传输过程分解成几个片段，以实现运行时最佳层间通信和计算重叠，从而实现了所有情况下的最优层级调度，而模型准确性保持不变。
PDF3 years ago
深度嵌入多视角聚类与协同训练
本文提出了一种深度嵌入式多视图聚类方法，其中包括对多视图的共识和互补性的考虑以及一种新的协作训练方案，并针对多视图聚类性能进行了实验性结果分析。
PDF4 years ago
医疗协作深度学习的分离学习
本研究采用基于分离学习的分布式学习方法，首次将其应用于医学领域，并使用 9000 张眼底照片的二元分类问题和 156,535 张胸部 X 射线的多标记分类问题进行比较。结果表明，相对于单一中心研究和非协作配置，分离学习配置具有更好的性能，这
PDF5 years ago
联邦学习中的搭便车现象：攻击与防御
本篇论文探讨了联邦学习的自由骑手攻击问题，并提出了一种新的高维异常检测方法 STD-DAGMM 用于检测这种攻击。
PDF5 years ago