asynchronous training | BriefGPT

关键词asynchronous training

搜索结果 - 13

Apodotiko: 在异构环境中实现高效的无服务器联邦学习
Apodotiko 是一种为无服务器联邦学习设计的新型异步训练策略，通过评估每个客户端的硬件能力和数据集大小，智能地优先选择客户端，并最小化系统性能受到策略影响的慢速客户端，实验结果表明，Apodotiko 优于其他 FL 训练策略，平均加
PDF2 months ago
PAFedFV：个性化和异步的指静脉识别联邦学习
本文提出了一种用于指静脉识别的个性化和异步联邦学习（PAFedFV）框架，通过设计个性化模型聚合方法解决非独立同分布（non-IID）数据的异构性，并采用异步训练模块来利用客户端的等待时间，在六个指静脉数据集上进行了广泛的实验，分析了非独立
PDF2 months ago
FedFa：一种用于联邦学习的完全异步训练范式
FedFa 是一种完全异步的训练范式，通过在服务器上使用少量缓冲结果进行参数更新，可以确保联邦学习的模型收敛并完全消除等待时间，实验证明该方法在 IID 和 Non-IID 场景下相较于同步和半异步策略提高了 6 倍和 4 倍的训练性能，并
PDF3 months ago
Asyn2F: 异步联邦学习框架与双向模型聚合
设计并开发了一个具有双向模型聚合的异步联邦学习框架 Asyn2F，通过允许服务器异步聚合多个本地模型，得到新的全局模型，并允许训练工作者将新版本的全局模型聚合到正在训练的本地模型中，从而解决了异构训练工作者带来的延迟和过时信息问题，实验证明
PDF4 months ago
稀疏化和量化的高效异步联邦学习
基于时间效率的异步稀疏量化联邦学习（TEASQ-Fed）能够利用边缘设备异步参与训练过程，并通过控制参数选择适当数量的并行边缘设备，进一步通过缓存机制和基于模型陈旧程度的加权平均来提高准确性，同时利用稀疏化和量化的方法压缩中间数据以加速训练
PDF6 months ago
分布式优先经验回放的量子深度 Q 学习
本文介绍了 QDQN-DPER 框架，以提高量子强化学习（QRL）在解决顺序决策任务中的效率。框架将优先经验回放和异步训练结合到训练算法中，以减少高采样复杂度。数值模拟表明，QDQN-DPER 比具有相同模型架构的基线分布式量子 Q 学习表
PDFa year ago
使用非监督领域发现技术扩展专家级语言模型
采用异步训练、领域发现及专家语言模型等方法，针对大规模稀疏语言模型进行了研究，实现了高效的语言模型训练。实验结果表明，针对语料库的聚类分析和专家模型的培训对于提升模型性能至关重要。
PDFa year ago
量子强化学习的异步训练
本文提出了一种采用异步训练 QRL 代理的方法，具体选择了优势演员评论家变分量子策略的异步训练，并通过数值模拟证明，相对于采用相似模型大小和架构的经典代理，采用异步训练 QRL 代理在考虑的任务中可以达到相似或更高的性能
PDFa year ago
ICLR重新审视本地监督学习：一种替代端到端训练的方法
本文介绍了一种利用信息传播 (loss) 解决深度网络训练时存储中间激活值（activations）的大内存占用问题的算法，该算法将网络划分为局部模块，通过异步训练这些分离的局部模块，并且通过信息传播 (loss) 损失函数，逐层改进算法提
PDF3 years ago
ICLR稳定性边缘：如何调整超参数以在神经网络异步训练中保留最小值选择？
研究了异步训练是如何影响神经网络的动态稳定性，发现延迟的程度与学习率交互作用，可以改变异步随机梯度下降算法所能够访问的极小值集合，并推导出调整学习率的闭式规则，同时保持可访问集合不变。结果显示，对于高延迟值，学习率应该保持反比于延迟。并且扩
PDF5 years ago
在分布式异步环境下调控动量
提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。
PDF5 years ago
WSDM大型文本语料库单词嵌入的异步训练
本文提出了一种可扩展的词向量训练方法，通过将输入空间进行分区来缩放到大规模文本语料库，同时不牺牲向量的性能，并在各种 NLP 基准测试中实现了可比较的甚至高达 45％的性能改进。
PDF6 years ago
使用合成梯度的分离神经接口
通过引入对神经网络图计算的未来模型，预测梯度和输入；实现神经网络各部分的解耦，异步更新；并对前馈模型、循环神经网络、分层 RNN 等进行了实验和验证。
PDF8 years ago