gradient descent learning | BriefGPT

关键词gradient descent learning

搜索结果 - 5

神经网络在信息论极限附近通过梯度下降学习低维多项式
通过 SGD 优化的两层神经网络可学习任意多项式链接函数的单指数目标函数，并具有与信息理论界限相匹配的样本和运行时间复杂度。
PDFa month ago
AAAI一步前進與回退：克服損失感知量化訓練中的曲折問題
本文提出了一种新的损失感知量化方法，通过一步前进和回溯的方式来获取更准确、更稳定的梯度方向，解决了梯度下降学习过程中梯度方向快速震荡的问题，实验证明该方法在收敛性能上具有竞争力且优于其他方法。
PDF5 months ago
使用全对二次铰链损失函数的对数线性梯度下降算法用于非平衡二分类
本文提出了一种新的功能表示方法，用于解决在使用大批量学习场景下原始学习算法太慢的问题，并在监督二分类问题的实验中表明了这种方法对于不平衡的数据集能够获得更高的 AUC 值，并且可以使用比之前方法更大的批量大小。
PDFa year ago
隐式秩最小化自编码器
本文提出了一种名为隐式秩最小自编码器（IRMAE）的模型，它通过使用额外的线性层在编码器和解码器之间来最小化潜在表示的信息容量，并在多层线性网络中通过梯度下降学习来隐式地最小化代码的协方差矩阵的秩，从而使系统自发地学习具有低有效维度的表示方
PDF4 years ago
神经网络下推自动机：模型、栈和学习模拟
本研究讨论了一种利用外部栈内存扩展循环神经网络处理能力的方法，即神经网络下推自动机（NNPDA），并详细介绍了它的构建、训练和从训练网络中提取象征信息的能力。通过样本字符串的训练，可以提取出离散下推自动机（PDA），能够准确地识别未知来源语
PDF7 years ago