Jun, 2016

使用窗口采样和负采样的矩阵分解来改进词表示

PDF
TL;DR本文介绍了一种使用低秩、加权的正点互信息矩阵分解以及随机梯度下降法的新方法 LexVec，用于生成分散的词汇表示，并通过单词相似性和类比任务的评估表明，LexVec 在这些任务中与现有技术方法相当甚至超越。
distributed word representationslexvecstochastic gradient descentpositive point-wise mutual informationword similarity
发现论文，激发创造
  • 利用位置上下文和外部存储增强 LexVec 分布式词向量表示模型

    本文通过改进正点互信息矩阵的分解方法和应用位置上下文提高了分布式单词表示的句法表现，并解决了 PMMI 矩阵存储需求的问题，实现了在外存上处理聚合数据，并使用词语相似性任务验证了两种改进方法的有效性。

    Jun, 2016

  • word2vec 解释：从 Mikolov 等人的负采样词嵌入方法中推导

    本文旨在解释 Tomas Mikolov 等人在论文 “Distributed Representations of Words and Phrases and their Compositionality” 中的第四个方程（负采样），该论文解释了 word2vec 软件的学习模型及其最新的词嵌入技术。

    Feb, 2014

  • 一种生成型词嵌入模型及其低秩半正定解决方案

    提出了一种生成词嵌入模型，可用于更复杂的潜在因素模型，推理基于低秩迹近似和区块回归，具有概率解释性和数据保持特性。

    Aug, 2015

  • 超越负采样的高效分布式表示

    本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。

    Mar, 2023

  • 词语和短语的分布式表示及其组合性

    本文介绍了连续 Skip-gram 模型的扩展方法，包括减少常见词的子采样、负采样优化、短语学习等，以提高单词向量的质量和训练速度，为解决单词顺序和习惯用语表示上的问题提供了简单的解决方法。

    Oct, 2013

  • 全局节点表示向量

    本文提出了一种矩阵分解方法，受到 GloVe 启发，用于网络节点嵌入，同时学习单词、节点和文档表示，该模型表现出良好的性能和鲁棒性，可用于探索文件网络，并生成互补的网络和内容关键字。

    Feb, 2019

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • 将 DeepWalk 解读为矩阵分解

    本文介绍了 Word2vec、Skip-Gram、Negative Sampling 和 DeepWalk 等工具和算法，重点讲述了 DeepWalk 算法在图上节点嵌入方面的研究和应用，并证明了 DeepWalk 算法实际上是在对一个矩阵进行分解。

    Jan, 2015

  • 重新思考隐式神经表示的非负矩阵分解

    非负矩阵分解 (Non-negative Matrix Factorization, NMF) 是一种强大的用于分析规则采样数据的技术，本文将 NMF 表述为连续函数的形式，并展示 NMF 可以扩展到更多不需要规则采样的信号类别。

    Apr, 2024

  • 单词不平等：适用于构建组合文档向量的分级加权模型

    研究使用基于加权单词向量的模型，并使用多种分类器进行集成，以在影评数据集上提高 1.6％的性能，并在 Amazon 产品评论中提高 7.01％的性能，其中 tf-idf 等方法可以显着提高先前技术水平。

    Dec, 2015