Feb, 2023

推荐系统中硬负采样背后的理论

PDF
TL;DR本文探讨了利用 Hard Negative Sampling（HNS）进行大规模数据训练推荐模型的效果机制，分别从 HNS 在 Bayesian Personalized Ranking（BPR）中的应用、One-way Partial AUC（OPAUC）与 Top-K 评价指标的关系、对抗样本选择的问题等方面对此问题进行了深入剖析。并基于这些分析，提供了两个有启发性的引导方针，以实现对 HNS 的有效使用。
negative samplingrecommender modelsbayesian personalized rankingtop-k evaluation metricsdynamic negative sampling
发现论文，激发创造
  • 贝叶斯负采样用于推荐

    提出了一种基于贝叶斯分类器的负采样算法（BNS），通过区分真负样本和虚假负样本，提高了负采样的质量和推荐性能。

    Apr, 2022

  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • 两种高效和信息丰富的负采样分布

    本研究提出两种分布，实现了真正自适应的采样方案，能够在近乎常数的时间内产生负样本，相较于流行的负采样算法，基于 CPU 实现的本研究方法在 Wall-Clock 时间和准确性方面都显著优于最优化的 Tensorflow 实现在 NVIDIA V100 GPU 上的热门负采样方法。

    Dec, 2020

  • 知识图谱表示学习负采样的综合分析

    本研究通过理论分析负采样损失函数协助超参数调整，以及为知识图谱嵌入（KGE）学习特别设计的负采样子抽样方法，为解决 KGE 中负采样损失函数中的超参数过多导致性能下降的问题提供了可能。同时，研究还提出，针对不同的得分方法，需要适当调整边缘项或负样本数量。通过实验分析得出，本研究的理论发现与实际训练的模型结果相符。

    Jun, 2022

  • 通过虚假负面评估减轻电子商务搜索中的汇聚偏见

    通过 Bias-mitigating Hard Negative Sampling (BHNS) 算法来解决负面采样中产生的 pooling bias 问题，提高产品相关性评估的准确性和效率。

    Nov, 2023

  • 利用观察数据优化贝叶斯个性化排名的采样器设计

    该研究提出了针对电子商务领域的负采样算法，使用用户的附加反馈来优化商品推荐模型，在两个真实数据集中相对于基础模型有着 37.03％和 16.40％的提升，同时采用了适合学习过程的用户定向加权策略，有针对性地调整商品排序，避免了不必要的负样本采样。

    Sep, 2018

  • 基于扩散的图网络负采样在链接预测中的应用

    该研究探索了多层次负采样的新策略，通过潜空间产生具有灵活和可控的 “难度” 级别的负节点，从而实现了有效的图链接预测。实验证明了该方法的有效性。

    Mar, 2024

  • 使用 Hard Negatives 优化稠密检索模型训练

    本研究研究了 Dense Retrieval (DR) 模型训练中的不同采样策略，并解释了为何硬负采样优于随机采样。研究发现目前许多基于硬负采样的训练方法存在许多潜在风险，因此本文提出了 Stable Training Algorithm (STAR) 和 Query-side Training Algorithm for Directly Optimizing Ranking Performance (ADORE) 两种训练策略，并在两个公共检索基准数据集上进行了实验，结果表明这两种策略均取得了显著的改进，并且结合这两种策略可以达到最佳性能。

    Apr, 2021

  • 关于 Top-K 推荐评估的抽样方法

    研究了采样与全局命中率的关系，提出通过对齐样本命中率和全局命中率进行对应函数 $f$ 的映射，可以准确近似全局命中率的采样命中率，从而在推荐算法中得到一致正确的预测。

    Jun, 2021

  • 针对聚类感知的无监督句子表示负采样

    本文提出了 ClusterNS 这一新的对比学习方法，将聚类信息引入负样本选择，同时使用改进的 K 均值聚类算法提供难负样本和识别批内的假负样本，以解决这一问题。实验表明我们的方法在无监督句子表示学习方面的性能优于基线模型，在语义文本相似度任务上表现出色。

    May, 2023