optimization landscape | BriefGPT

关键词optimization landscape

搜索结果 - 26

EMNLP为何不同算法的英文嵌入无监督对齐如此困难？
该论文挑战了生成对抗网络（GAN）如何对独立的英语单词嵌入进行完美对齐，并探究了不同嵌入算法之间为什么会出现对齐失败的情况。作者认为这对于理解现代单词嵌入算法及 GAN 的局限性和不稳定性动态至关重要，并且该发现可能是与嵌入算法的归纳偏差有
PDF6 years ago
ICML关于 Dropout 的隐式偏差
本文主要研究 dropout 在深度学习中的应用，发现 dropout 会在单隐藏层线性神经网络中导致隐藏节点的输入 / 输出权重向量模长相等，同时提供了 dropout 所导致的优化景观的完整特征描述。
PDF6 years ago
批量归一化如何帮助优化？
本文探讨了批量归一化（BatchNorm）对深度神经网络（DNN）训练的影响及原因，发现 BatchNorm 的成功并不在于控制层输入分布的稳定性，而是在于它让优化的过程变得更加平滑，从而使梯度更加稳定和可预测，加快了训练速度。
PDF6 years ago
过度参数的浅层神经网络优化空间的理论洞见
研究浅层神经网络在过参数化情况下，如何使用二次激活函数进行训练并找到全局最优解，结果表明此方法适用于具有任意输入 / 输出对的任何训练数据，并可使用各种本地搜索启发式方法高效地找到全局最优解。同时，对於差分激活函数，我们也证明了梯度下降法在
PDF7 years ago
ICLR使用 Line 图神经网络进行监督式社群检测
使用图神经网络的有监督学习方法来解决社区检测问题，并在数据驱动和无准入下表现出比信念传播算法更好的性能，同时在实际数据集上也获得了良好的表现，此外，对于使用线性 GNN 进行社区检测问题训练的优化梯度的第一次分析也被给出。
PDF7 years ago
学习神经网络的不合理有效性：从易于访问的状态和稳健集合到基本算法方案
研究了具有离散权重的人工神经网络中学习过程的优化，提出了一种被称为 “鲁棒集合” 的新量度来抑制被隔离的配置所困住，并分析了稀有但极度密集和可访问的网络配置区域的存在。为解决此问题，提出了一个算法方案来定义目标，并证明了该算法在从驱动分配的
PDF8 years ago