direct feedback alignment | BriefGPT

关键词direct feedback alignment

搜索结果 - 5

超越反向传播的尺度定律
使用缩放定律研究了 Direct Feedback Alignment（DFA）在训练因果解码器专用变压器的效率，在计算和数据需求方面没有超越反向传播，需要更多实证方法来更好地理解建模决策。
PDF2 years ago
纯 C++ 中使用直接反馈对齐和口袋激活训练和推理神经网络的整数实现
该研究论文提出了一种使用整数操作进行 DNN 训练和推理的框架 “PocketNN”，并使用 “直接反馈对齐 (DFA)” 算法训练每一层，避免了整数溢出的问题，实验结果表明它在 MNIST 和 Fashion-MNIST 数据集上的准确性
PDF2 years ago
具有直接反馈校验的差分隐私深度学习
本文提出了一种新的针对深层神经网络的差分隐私训练方法：利用直接反馈对齐算法代替标准误差反向传播算法，通过实验证明其在多种结构和数据集上都能够显著提高模型的准确率（通常提高 10-20%），从而更好地保护隐私信息。
PDF4 years ago
直接反馈对齐在现代深度学习任务和架构中的拓展
本文探讨了替代反向传播算法的方案，研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性，并发现该方案可以成功训练各种现代深度学习架构，其性能接近于微调的反向传播，支持在没有权重传输的情况下解决具有挑战性的任务。
PDF4 years ago
ICLR使用直接反馈对齐进行高效的卷积神经网络训练
本文提出了结合 BP 算法的 BDFA 算法，同时提出了反馈权重初始化方法和模式分析技术来维持训练稳定性和最小化计算成本。实验结果表明，该方法在小数据集环境下表现优异。
PDF6 years ago