large neural networks | BriefGPT

关键词large neural networks

搜索结果 - 6

深度学习时代的可扩展贝叶斯推断：从高斯过程到深度神经网络
本论文介绍了一种将大型神经网络装备上模型的不确定性的方法，并应用了这个方法在 ResNet-50 和深度图像先验网络上进行了实验。
PDF2 months ago
大规模深度网络的变分学习有效性
我们通过大量的证据反驳了普遍观点，即变分学习对于大型神经网络无效。我们展示了一种名为改进变分在线牛顿（IVON）的优化器，在训练 GPT-2 和 ResNets 等大型网络时，始终能够与 Adam 相匹配或胜过它。IVON 的计算成本与 A
PDF4 months ago
模型并行训练的激活和梯度压缩
大型神经网络的模型并行训练中，同时压缩激活和梯度对收敛性的影响进行了探索，实验证明梯度对于压缩的要求比激活更低，使用 TopK 技术在推理阶段也需要进行压缩，误差反馈技术在模型并行训练中并没有提高性能，但在推理阶段允许无压缩的模型推理并且品
PDF6 months ago
具有可扩展在线双层优化的自适应训练分布
在现代机器学习中，基于网络规模的大型神经网络学习成为核心。本研究考虑在一个与应用领域不匹配的混杂预训练数据集的情况下，通过调整预训练分布的算法来适应目标测试条件。通过在线双层优化问题的一种近期表述，提出了一种算法，并考虑了可扩展性，该算法优
PDF7 months ago
公私梯度耦合可证明地改善优化
通过优化公共数据和私有数据的梯度加权线性组合，本研究分析了梯度联合的最佳权重和超参数对于非凸损失函数收敛性的加速及对语言和视觉基准的影响，为梯度联合的最优权重选择提供了指导。
PDF9 months ago
GDP: 数据流图的通用设备放置
本文提出了一种端到端的基于图神经网络的可扩展顺序关注机制，并使用超前网络在每个独立图上进行微调，达到了优于人类专家和先前技术的 16% 平均改善和 15 倍更快的收敛速度，从而实现了有关大型神经网络和设备放置的计算成本和效率的突破。
PDF5 years ago