ICMLDec, 2020

两种高效和信息丰富的负采样分布

PDF
TL;DR本研究提出两种分布，实现了真正自适应的采样方案，能够在近乎常数的时间内产生负样本，相较于流行的负采样算法，基于 CPU 实现的本研究方法在 Wall-Clock 时间和准确性方面都显著优于最优化的 Tensorflow 实现在 NVIDIA V100 GPU 上的热门负采样方法。
softmaxnegative samplingadaptivitycomputationnvidia v100
发现论文，激发创造
  • 通过对抗性 Softmax 近似进行极值分类

    本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。

    Feb, 2020

  • 贝叶斯负采样用于推荐

    提出了一种基于贝叶斯分类器的负采样算法（BNS），通过区分真负样本和虚假负样本，提高了负采样的质量和推荐性能。

    Apr, 2022

  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • 基于核采样的自适应采样 Softmax

    本文提出了基于核函数的采样方法并发展了高效的采样算法以减少对于大量样本情况下传统采样方法的偏倚问题。实验结果表明此方法相较于传统采样方法偏差较小并且需要的样本数更少。

    Dec, 2017

  • 推荐系统中硬负采样背后的理论

    本文探讨了利用 Hard Negative Sampling（HNS）进行大规模数据训练推荐模型的效果机制，分别从 HNS 在 Bayesian Personalized Ranking（BPR）中的应用、One-way Partial AUC（OPAUC）与 Top-K 评价指标的关系、对抗样本选择的问题等方面对此问题进行了深入剖析。并基于这些分析，提供了两个有启发性的引导方针，以实现对 HNS 的有效使用。

    Feb, 2023

  • 简化和加强隐式协同过滤负采样

    本文提出一种简化负采样模型的方法，通过针对设计的内存进行高效采样，解决模型学习中的假阴性问题。在两个合成数据集和三个真实数据集上的实证结果表明，该方法在负采样方面具有鲁棒性和优越性。

    Sep, 2020

  • 超越负采样的高效分布式表示

    本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。

    Mar, 2023

  • 知识图谱表示学习负采样的综合分析

    本研究通过理论分析负采样损失函数协助超参数调整，以及为知识图谱嵌入（KGE）学习特别设计的负采样子抽样方法，为解决 KGE 中负采样损失函数中的超参数过多导致性能下降的问题提供了可能。同时，研究还提出，针对不同的得分方法，需要适当调整边缘项或负样本数量。通过实验分析得出，本研究的理论发现与实际训练的模型结果相符。

    Jun, 2022

  • 半监督学习中的负采样

    介绍了一种针对半监督学习的简单，快速，易于调整的算法 Negative Sampling in Semi-Supervised Learning（NS3L），该算法通过向现有的 SSL 算法 (如 Virtual Adversarial Training 和 MixMatch) 中添加 NS3L 损失函数，能够更好地提高模型性能和准确度，并在 CIFAR10，CIFAR100，SVHN 和 STL10 等基准数据集上得到验证。

    Nov, 2019

  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023