Jul, 2019

带有随机傅里叶特征的采样 Softmax

PDF
TL;DR本文针对多分类中神经网络训练成本高的问题，提出了一种基于 Random Fourier Features 的随机傅里叶 softmax（RF-softmax）方法，以更高效和准确地在近似的 softmax 分布中采样来降低偏差，并表明其成本仅以对数方式缩放。
发现论文，激发创造
  • 随机 Fourier 特征的统一分析

    使用随机傅里叶转换对核方法的学习过程进行风险分析，同时提出使用 Ridge 杠杆得分进行特征筛选的随机傅里叶转换方法，可大大降低计算成本。

    Jun, 2018

  • 通过对抗性 Softmax 近似进行极值分类

    本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。

    Feb, 2020

  • 基于核采样的自适应采样 Softmax

    本文提出了基于核函数的采样方法并发展了高效的采样算法以减少对于大量样本情况下传统采样方法的偏倚问题。实验结果表明此方法相较于传统采样方法偏差较小并且需要的样本数更少。

    Dec, 2017

  • 随机傅里叶特征的误差

    本文介绍了核方法在机器学习问题中的应用，提到了采用随机傅里叶特征解决大规模数据集问题的方法，并给出了更好的误差界限及嵌入方式的理解、近似误差、在某些机器学习方法中的使用，同时指出了该特征的两种变体中，更常用的一种在高斯核中具有严格更高的方差且具有更糟糕的界限的令人惊讶的事实。

    Jun, 2015

  • 随机傅里叶特征的最优速率

    本文通过理论分析，详细研究了随机傅里叶特征（RFF）在逼近质量方面的表现，并提出了一种 RFF 逼近核的导数的方法。

    Jun, 2015

  • 混合随机特征

    提出了一种新的混合随机特征 (HRFs) 类用于线性化 Softmax 和高斯核，通过波谷转换并利用随机特征来提供更精确的核估计，具有较强理论保证，经过实证评估，在点核估计实验中获得了好的结果，同时还能应用在数据聚类以及机器学习下游应用中。

    Oct, 2021

  • 采样 Softmax 损失对于物品推荐的有效性

    本研究通过理论推导与实验验证，阐明了应用于商品推荐的采样 softmax 损失函数相较传统损失的理论优势包括减轻流行度偏见、挖掘难负样本、最大化排名指标等，并探讨了其在不同推荐算法中的具体应用及特性。

    Jan, 2022

  • 核岭回归的随机傅里叶特征：逼近界限和统计保证

    本文通过研究谱矩阵近似的角度，给出了随机傅里叶特征的数量界和核岭回归的统计保障，而从核的杠杆函数中改进傅里叶空间的分布采样可获得提高的性能与更优的采样方案。

    Apr, 2018

  • 正交随机特征：显式形式和尖锐不等式

    通过正交随机特征来近似普遍的高斯核，本研究分析了基于正交随机特征的核逼近的偏差和方差，并通过使用归一化贝塞尔函数推导出了明确的表达式，并提供了支持正交随机特征比随机傅里叶特征更具信息性的尖锐指数界限。

    Oct, 2023

  • F^2-Softmax: 通过频率因式分解 Softmax 实现神经文本生成的多样性

    提出了两种新方法 F^2-Softmax 和 MefMax 以解决文本生成中标记分布不平衡的问题，实验表明这两种方法在提高生成文本的多样性和质量方面具有优越性。

    Sep, 2020