Feb, 2024

负采样的必要性研究及其理论和应用的洞见

PDF
TL;DR负采样是一个重要的研究焦点，在机器学习、计算机视觉、自然语言处理、数据挖掘和推荐系统等广泛应用领域受到关注。本文提出一个通用框架，利用负采样方法解决这一问题，并通过追溯负采样的发展历程，将负采样方法分为五类，包括静态、困难例子、基于生成对抗网络、辅助型和小批量内）。通过详细分类和强调负采样在各个领域的应用，揭示负采样的实际益处，并讨论了负采样的未解决问题和未来发展方向。
发现论文，激发创造
  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • 简化和加强隐式协同过滤负采样

    本文提出一种简化负采样模型的方法，通过针对设计的内存进行高效采样，解决模型学习中的假阴性问题。在两个合成数据集和三个真实数据集上的实证结果表明，该方法在负采样方面具有鲁棒性和优越性。

    Sep, 2020

  • 知识图表示学习中的负采样：综述

    知识图谱表示学习（KGRL）或知识图谱嵌入（KGE）在知识构建和信息探索的人工智能应用中起着至关重要的作用。这篇综述论文系统地回顾了各种负采样（NS）方法及其对 KGRL 成功的贡献，将现有的 NS 方法按照五个不同的类别进行了分类，并指出了各自的优缺点。此外，该综述还提出了一些开放性研究问题，为未来的研究提供了潜在方向。通过提供基础 NS 概念的概括和对齐，这篇综述为在 KGRL 环境下设计有效的 NS 方法提供了有价值的洞察，并为该领域的进一步发展提供了动力。

    Feb, 2024

  • 应用于推荐的 Word2Vec 算法：超参数的重要性

    本文探究了 Skip-gram with negative sampling 在推荐领域中的应用，通过大型超参数网格搜索发现了调整负采样分布、迭代次数、子采样参数和窗口大小等被忽略的超参数可以显著提高推荐系统性能，并发现自然语言处理任务和推荐任务的最优超参数配置存在明显差异。

    Apr, 2018

  • 贝叶斯负采样用于推荐

    提出了一种基于贝叶斯分类器的负采样算法（BNS），通过区分真负样本和虚假负样本，提高了负采样的质量和推荐性能。

    Apr, 2022

  • 两种高效和信息丰富的负采样分布

    本研究提出两种分布，实现了真正自适应的采样方案，能够在近乎常数的时间内产生负样本，相较于流行的负采样算法，基于 CPU 实现的本研究方法在 Wall-Clock 时间和准确性方面都显著优于最优化的 Tensorflow 实现在 NVIDIA V100 GPU 上的热门负采样方法。

    Dec, 2020

  • 弱标签学习中负采样的重要性

    通过研究负样本实例的选择策略，本文提出了几种采样策略，可以有效提升弱标签学习的性能，降低计算成本，并证明负样本并非完全无关，明智地选择负样本有助于弱标签学习。

    Sep, 2023

  • 利用负采样改进上下文化主题模型

    本文提出了一种基于负采样机制的上下文主题模型，通过扰动生成的文档 - 主题向量，并利用三元组损失函数，鼓励从正确文档 - 主题向量重构出来的文档与输入文档相似，与从扰动向量重构出来的文档相异，实验证明该方法在不同主题数量公开数据集上得到了改善。同时该模型具有较高的主题多样性。

    Mar, 2023

  • 个性化负反馈贮存器在推荐系统中的增量学习

    为了改善用户体验，推荐系统需要不断扩展和提升模型，但这会带来更多的计算负担。本文提出了个性化的负样本储备策略，平衡了遗忘与可塑性，有效地处理增量学习问题。通过在三个常用的增量推荐模型中整合我们的设计，我们实现了在标准基准测试中的最新成果。

    Mar, 2024

  • 基于扩散的图网络负采样在链接预测中的应用

    该研究探索了多层次负采样的新策略，通过潜空间产生具有灵活和可控的 “难度” 级别的负节点，从而实现了有效的图链接预测。实验证明了该方法的有效性。

    Mar, 2024