Apr, 2017

负采样增量式 Skip-gram 模型

PDF
TL;DR本文从经验和理论两个角度，探索了一种用于 skip-gram 模型的增量式训练策略，通过提供简单的增量式扩展并深入理论分析，解决了现有神经词向量嵌入算法（包括 SGNS）的多遍训练和无法进行增量式更新的问题，实证实验证明了其正确性和实用性。
incremental trainingskip-gram modelnegative samplingneural word embeddingsmodel update
发现论文，激发创造
  • Skip-Gram 负采样的黎曼优化

    本文提出一种基于黎曼优化的算法，有效优化 Skip-Gram Negative Sampling（SGNS）词嵌入模型，与传统方法和基于 SPPMI 矩阵的 SVD 相比表现更优。

    Apr, 2017

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 重新审视 Skip-Gram 负采样：在图嵌入中进行尺寸正则化以实现更高效的差异性保留

    将节点吸引和维度规范化作为替代方法的图嵌入优化技术，从而提高算法效率。

    Apr, 2024

  • 知识图表示学习中的负采样：综述

    知识图谱表示学习（KGRL）或知识图谱嵌入（KGE）在知识构建和信息探索的人工智能应用中起着至关重要的作用。这篇综述论文系统地回顾了各种负采样（NS）方法及其对 KGRL 成功的贡献，将现有的 NS 方法按照五个不同的类别进行了分类，并指出了各自的优缺点。此外，该综述还提出了一些开放性研究问题，为未来的研究提供了潜在方向。通过提供基础 NS 概念的概括和对齐，这篇综述为在 KGRL 环境下设计有效的 NS 方法提供了有价值的洞察，并为该领域的进一步发展提供了动力。

    Feb, 2024

  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • LEMON: 知识图谱嵌入负采样的语言模型

    本文提出了一种利用预训练语言模型来生成负样本的方法，该方法利用实体之间的距离通过它们的文本信息形成邻域集群，以得到符号实体的表示形式，有效地应用于基准知识图谱的链接预测任务。

    Mar, 2022

  • NSCaching: 为知识图谱嵌入提供简单高效的负采样

    本文提出了一种新的负采样方法，通过直接跟踪积极的负采样三元组，避免 GAN 带来的训练困难，实现了高效而有效的 Knowledge Graph embedding。

    Dec, 2018

  • GloVe 与 word2vec 的链接

    本文讨论了 GloVe 和 skip-gram 两种单词向量表示方法在训练目标上的相似性，指出它们的目标与代价函数虽不同但具有类似性。

    Nov, 2014

  • 将省略的 n-gram 和修改的 Kneser-Ney 平滑组合的广义语言模型

    介绍了一种基于跳跃 n-gram 模型的语言模型建立方法，采用修正 Kneser-Ney 平滑，可以广义化语言模型，效果显著，尤其能处理计算数据稀疏情况。

    Apr, 2014