Feb, 2014

word2vec 解释：从 Mikolov 等人的负采样词嵌入方法中推导

PDF
TL;DR本文旨在解释 Tomas Mikolov 等人在论文 “Distributed Representations of Words and Phrases and their Compositionality” 中的第四个方程（负采样），该论文解释了 word2vec 软件的学习模型及其最新的词嵌入技术。
word2vecstate-of-the-artembeddingsneural-networksequations
发现论文，激发创造
  • word2vec 参数学习解析

    本文详细解释了 word2vec 模型的参数学习过程，包括 CBOW、skip-gram 等模型及优化技术，并提供了直观的梯度方程解释和数学推导，同时提供了神经网络和反向传播基础的回顾。

    Nov, 2014

  • 超越负采样的高效分布式表示

    本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。

    Mar, 2023

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 使用窗口采样和负采样的矩阵分解来改进词表示

    本文介绍了一种使用低秩、加权的正点互信息矩阵分解以及随机梯度下降法的新方法 LexVec，用于生成分散的词汇表示，并通过单词相似性和类比任务的评估表明，LexVec 在这些任务中与现有技术方法相当甚至超越。

    Jun, 2016

  • 用 Space-Saving 算法流式生成词向量

    本文使用流式数据处理技术，开发了一个基于 skip-gram 和负采样实现的词嵌入算法，并在 Twitter 数据流中进行了实验，发现其可以部分替代 word2vec。

    Apr, 2017

  • 词语和短语的分布式表示及其组合性

    本文介绍了连续 Skip-gram 模型的扩展方法，包括减少常见词的子采样、负采样优化、短语学习等，以提高单词向量的质量和训练速度，为解决单词顺序和习惯用语表示上的问题提供了简单的解决方法。

    Oct, 2013

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • 应用于推荐的 Word2Vec 算法：超参数的重要性

    本文探究了 Skip-gram with negative sampling 在推荐领域中的应用，通过大型超参数网格搜索发现了调整负采样分布、迭代次数、子采样参数和窗口大小等被忽略的超参数可以显著提高推荐系统性能，并发现自然语言处理任务和推荐任务的最优超参数配置存在明显差异。

    Apr, 2018

  • 企业用语的含义及其附近的其他事物

    该研究使用分析模型从传统理论中探究自然语言处理系统的统计学习方法，并在此基础上导出了有关使用这些算法和共现数据的系统的见解，进一步揭示了 Word2Vec 算法的潜力和其中的偏差，同时分析了共现模型中的统计依赖密度，并且发现了分布假设的部分实现。

    Apr, 2022

  • 利用负采样改进上下文化主题模型

    本文提出了一种基于负采样机制的上下文主题模型，通过扰动生成的文档 - 主题向量，并利用三元组损失函数，鼓励从正确文档 - 主题向量重构出来的文档与输入文档相似，与从扰动向量重构出来的文档相异，实验证明该方法在不同主题数量公开数据集上得到了改善。同时该模型具有较高的主题多样性。

    Mar, 2023