MMApr, 2018

应用于推荐的 Word2Vec 算法：超参数的重要性

PDF
TL;DR本文探究了 Skip-gram with negative sampling 在推荐领域中的应用，通过大型超参数网格搜索发现了调整负采样分布、迭代次数、子采样参数和窗口大小等被忽略的超参数可以显著提高推荐系统性能，并发现自然语言处理任务和推荐任务的最优超参数配置存在明显差异。
发现论文，激发创造
  • 大规模推荐系统中的 Word2vec 调优

    本文描述了 Word2vec 算法在推荐系统中的应用和默认参数的问题，并通过 hyperparameter optimization 的方法，大幅提高了推荐命中率，在 Twitter Who To Follow 推荐中还成功提高了 15％关注率。

    Sep, 2020

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 在双曲空间中的 Skip-gram 词向量嵌入

    本文介绍了一种在超几何空间中学习自由文本词嵌入的算法，并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中，超几何词嵌入具有潜在优势，但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。

    Aug, 2018

  • 超越负采样的高效分布式表示

    本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。

    Mar, 2023

  • 用 Space-Saving 算法流式生成词向量

    本文使用流式数据处理技术，开发了一个基于 skip-gram 和负采样实现的词嵌入算法，并在 Twitter 数据流中进行了实验，发现其可以部分替代 word2vec。

    Apr, 2017

  • word2vec 参数学习解析

    本文详细解释了 word2vec 模型的参数学习过程，包括 CBOW、skip-gram 等模型及优化技术，并提供了直观的梯度方程解释和数学推导，同时提供了神经网络和反向传播基础的回顾。

    Nov, 2014

  • 负采样的必要性研究及其理论和应用的洞见

    负采样是一个重要的研究焦点，在机器学习、计算机视觉、自然语言处理、数据挖掘和推荐系统等广泛应用领域受到关注。本文提出一个通用框架，利用负采样方法解决这一问题，并通过追溯负采样的发展历程，将负采样方法分为五类，包括静态、困难例子、基于生成对抗网络、辅助型和小批量内）。通过详细分类和强调负采样在各个领域的应用，揭示负采样的实际益处，并讨论了负采样的未解决问题和未来发展方向。

    Feb, 2024

  • 从词嵌入到物品推荐

    本研究使用 Word2Vec 技术应用于推荐系统领域，通过利用 Check-ins 这一非文本特征向用户推荐地点，实验结果表明使用 Word2Vec 对推荐系统中物品的连续向量表示能够取得良好的效果。

    Jan, 2016

  • word2vec 解释：从 Mikolov 等人的负采样词嵌入方法中推导

    本文旨在解释 Tomas Mikolov 等人在论文 “Distributed Representations of Words and Phrases and their Compositionality” 中的第四个方程（负采样），该论文解释了 word2vec 软件的学习模型及其最新的词嵌入技术。

    Feb, 2014