Mar, 2023

超越负采样的高效分布式表示

PDF
TL;DR本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。
distributed representationsembeddingsword2vecsoftmax normalizationoptimization
发现论文，激发创造
  • 词嵌入的范数编码信息获取

    本文通过理论证明和实验证明 Skip-gram 负采样法中词向量的平方范数编码了由 KL 散度定义的单词共现分布和语料库单纯分布之间的信息增益，进而通过关键词提取、上位词预测和词性鉴别等实验，确证了 KL 散度和词向量的平方范数可以作为单词相关信息量的一种度量方式，但需适当修正由单词频率造成的偏差。

    Dec, 2022

  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • Softmax 交叉熵和负采样的统一解释：以知识图谱嵌入为例的案例研究

    本篇论文通过对 softmax 交叉熵与负采样损失函数的 Bregman 距离统一解释，得出理论研究结果，证实其在实际环境中的有效性。

    Jun, 2021

  • 词语和短语的分布式表示及其组合性

    本文介绍了连续 Skip-gram 模型的扩展方法，包括减少常见词的子采样、负采样优化、短语学习等，以提高单词向量的质量和训练速度，为解决单词顺序和习惯用语表示上的问题提供了简单的解决方法。

    Oct, 2013

  • word2vec 解释：从 Mikolov 等人的负采样词嵌入方法中推导

    本文旨在解释 Tomas Mikolov 等人在论文 “Distributed Representations of Words and Phrases and their Compositionality” 中的第四个方程（负采样），该论文解释了 word2vec 软件的学习模型及其最新的词嵌入技术。

    Feb, 2014

  • 无向主题模型的高效学习

    本文提供一种新的估算方法，用于加速基于 Noise Contrastive Estimate 的学习，以处理长度和加权输入不同的文档，实验表明该方法在文档检索和分类方面具有高效率和高准确性。

    Jun, 2015

  • 高斯嵌入的词表示

    本文提倡使用基于密度的分布嵌入方法，并提出了一种在高斯分布空间中学习表示的方法，以更好地捕捉有关表示和其关系的不确定性，自然地表达不对称性，并使决策边界参数更有表达力。本文比较了各种单词嵌入基准测试的性能，调查了这些嵌入模型主导和其他不对称关系的能力，并探索了表示的新颖特性。

    Dec, 2014

  • 最小化 FLOPs 来学习高效稀疏表示

    提出了一种基于正则化函数的方法，学习高维稀疏表示，以在视觉检索中提高效率，其表现与其他基线方法相竞争，且在实际数据集中具有类似或更好的速度精度平衡。

    Apr, 2020

  • 层次密度排序嵌入

    本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

    Apr, 2018