Jul, 2023

隐含的重要性权重感知更新

PDF
TL;DR利用广义隐式 Follow-the-Regularized-Leader (FTRL) 框架，通过对比梯度更新，本文首次展示了重要性权重感知（Importance Weight Aware，IWA）更新在在线学习中具有更好的遗憾上界，进一步说明 IWA 更新可被视为近似的隐式 / 近端更新。
发现论文，激发创造
  • 在线重要性权重感知更新

    本文论述了在基于梯度的优化方法中，如何处理样本的重要性权重对优化过程的影响，提出了一种基于重要性权重的更新方法，并在在线主动学习中取得了显著的实验效果。

    Nov, 2010

  • 在线学习中指数权重的多种表现形式

    本文提出将指数加权法放在网络学习的中心地位，将标准方法和其遗憾界转化为适当的替代损失函数以及指数加权后验的结果，给出了在线梯度下降、在线镜像下降和在线牛顿步等方法的 EW 表述，并使得由复杂的自适应方法可转为简单易行的指数凸的代理损失函数。

    Feb, 2018

  • 重新思考分布移动下的深度学习重要性加权

    本文研究分布偏移问题下，重要性加权在复杂数据上无法良好运作的原因，并提出了一种基于动态重要性加权的端到端解决方案。实验表明，该方法能够与现有最先进的方法相媲美。

    Jun, 2020

  • 跟随扰动领袖进行自适应在线预测

    应用聚合策略进行预测时，需要自适应调整学习速率以避免复杂度和当前损失率之间的分析难题；本文基于 Kalai 和 Vempala（2003）的 “Follow the Perturbed Leader”（FPL）算法，在两种不同的专家类别下得出了可调学习速率的损失界限，其中前者的损失界限与迄今为止最佳结果匹配，而后者为新结果。

    Apr, 2005

  • 可解释的增量式随机权重神经网络构建算法及其应用

    本文提出一种可解释的构造算法（ICA），并通过几何信息约束的方式改进了增量随机权重神经网络（IRWNNs），实现了更快的建模速度、更高的模型精度和更好的模型网络结构。

    Jul, 2023

  • 通过权重归一化实现强大的隐式正则化

    本文研究了使用梯度下降与权重归一化进行训练的经过参数化的模型所具有的内在偏向性，并证明了权重归一化的方法可以在对角线性模型中具有稀疏解的内在偏向性。

    May, 2023

  • 更紧的变分界并不一定更好

    本文提供理论和实证证据表明，使用更严格的证据下界（ELBO）可能会降低梯度估计器的信噪比，从而对学习推理网络产生不利影响，并介绍了三种新算法：偏重要性加权自动编码器（PIWAE），乘法重要性加权自动编码器（MIWAE）和组合重要性加权自动编码器（CIWAE）。同时，我们的结果表明，PIWAE 可以同时改善推理和生成网络的训练。

    Feb, 2018

  • 通过加权插值实现数据更新的向后兼容性

    研究机器学习应用中数据更新导致的负面影响，提出了一种名为 “Backward Compatible Weight Interpolation”（BCWI）的方法，该方法通过插值处理模型权重，实现了新模型精度提升，同时保持了与旧模型的向后兼容性。

    Jan, 2023

  • 使用扭曲梯度下降的元学习

    本文提出了一种称为 “WarpGrad” 的方法，它通过交错使用非线性层次条件，通过元学习一个有效参数化的预处理矩阵来促进跨任务分布梯度下降，从而与现有方法相比解决了存在的问题，包括 few- shot、标准监督、连续和强化学习。

    Aug, 2019

  • 重要性加权和变分推断

    本文研究使用重要性采样方法对概率变分推断的影响，并提出了 “重要性加权变分推断（IWVI）” 技术，它是 “增广变分推断” 的一种实例，能够改善低维准确性和高维收敛性，实验证实了其对概率推断的实用性。

    Aug, 2018