deep neural network training | BriefGPT

关键词deep neural network training

搜索结果 - 11

Grad-Instructor：元学习和自动机器学习的可解释性评估神经网络的通用反向传播
使用强化学习训练的评估神经网络（ENN）作为反向传播中的附加评估函数，提高深度神经网络训练的方法，通过对 0.15^2 倍分辨率的输入数据进行处理，ENN 实现有效的推理，结果表明，使用该方法训练的 MLPs 的平均测试准确率达到了 93.
PDF19 days ago
基于毒化的任意目标标签带正触发器的后门攻击
通过利用纯净数据集训练的网络作为触发器生成器，该研究提出了一种新的触发器分类方法并开发了一种多标签和多负载的基于毒化的反向门攻击（PPT），该方法可以在不牺牲准确率的情况下在各种数据集上实现高攻击成功率。
PDF2 months ago
Spin: 一种高效的带 GPU 加速的安全计算框架
Spin 是一种 GPU 加速的多方计算 (MPC) 框架，支持多个计算方和一个不诚实的多数敌对设置。该框架提出了针对非线性函数的优化协议，以及用于注意力的几种新颖优化，允许 Spin 在不牺牲安全性的情况下执行复杂的 CNN 训练和 Tr
PDF5 months ago
MaxK-GNN：加速图神经网络训练的理论速度极限
本文提出了 MaxK-GNN，一个高性能的 GPU 训练系统，通过集成算法和系统创新来实现。在 MaxK-GNN 系统的广泛评估中，实验结果显示其接近 Amdahl 法则的理论极限，相对于 DGL 和 GNNAdvisor 的实现，在 Re
PDF7 months ago
MM优化算法的符号发现
该研究提出了一种将算法发现作为程序搜索的方法，并应用于发现有关深度神经网络训练的优化算法，其中发现了一种名为 Lion 的更具内存效率的优化算法，该算法与 Adam 和 Adafactor 等优化器相比，在多种任务上取得了相似或更好的性能。
PDFa year ago
灾难性费舍尔爆炸：早期阶段费舍尔矩阵影响泛化
深度神经网络训练初期对损失函数的局部曲率有巨大影响。随机梯度下降（SGD）在训练早期隐含地惩罚了 Fisher 信息矩阵的迹，并且这种隐式的正则化方法会显著提高泛化能力。
PDF4 years ago
亲和力和多样性：量化数据增强机制
本文提出一种衡量数据增强对于深度神经网络训练中模型泛化能力的量化方法：亲和力和多样性；研究发现，优化两者均可提高模型性能。
PDF4 years ago
IJCAI更快的分布式深度神经网络训练：计算和通信解耦合的随机梯度下降
本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式
PDF5 years ago
基于双曲正切衰减的随机梯度下降在分类中的应用
本文提出了一种新的调度方法，称为双曲正切衰减（HTD），在多个基准测试中表现优于步长衰减和余弦调度器，并且比步长衰减少需更少的超参数，比余弦调度器更加灵活。
PDF6 years ago
ICML并非所有样本都是相等的：使用重要性采样的深度学习
本研究提出了一种基于重要性采样的计算优化方案，该方案能够减少深度神经网络训练过程中冗余计算，提升模型的训练效果并有效降低损失。实验结果显示，该方案能够在相同的时间预算下，将训练损失降低一个数量级，并提高测试误差 5％至 17％。
PDF6 years ago
非凸优化中的鞍点问题
该研究论文旨在提出一种新的算法 - 无鞍牛顿法，通过对梯度下降和拟牛顿方法的比较，研究表明高维空间中的鞍点可能是局部最小值的主要原因，而不是通常认为的局部最小值过多。该算法能够快速避免高维鞍点，特别是在深度神经网络的训练中具有优势。
PDF10 years ago