ACLApr, 2017

Skip-Gram 负采样的黎曼优化

PDF
TL;DR本文提出一种基于黎曼优化的算法，有效优化 Skip-Gram Negative Sampling（SGNS）词嵌入模型，与传统方法和基于 SPPMI 矩阵的 SVD 相比表现更优。
发现论文，激发创造
  • 负采样增量式 Skip-gram 模型

    本文从经验和理论两个角度，探索了一种用于 skip-gram 模型的增量式训练策略，通过提供简单的增量式扩展并深入理论分析，解决了现有神经词向量嵌入算法（包括 SGNS）的多遍训练和无法进行增量式更新的问题，实证实验证明了其正确性和实用性。

    Apr, 2017

  • 重新审视 Skip-Gram 负采样：在图嵌入中进行尺寸正则化以实现更高效的差异性保留

    将节点吸引和维度规范化作为替代方法的图嵌入优化技术，从而提高算法效率。

    Apr, 2024

  • 全局节点表示向量

    本文提出了一种矩阵分解方法，受到 GloVe 启发，用于网络节点嵌入，同时学习单词、节点和文档表示，该模型表现出良好的性能和鲁棒性，可用于探索文件网络，并生成互补的网络和内容关键字。

    Feb, 2019

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • GloVe 与 word2vec 的链接

    本文讨论了 GloVe 和 skip-gram 两种单词向量表示方法在训练目标上的相似性，指出它们的目标与代价函数虽不同但具有类似性。

    Nov, 2014

  • 广义非凸非光滑低秩最小化

    本文提出了一种基于梯度权重奇异值阈值处理问题的迭代重加权核范数算法（IRNN），用于解决非凸非光滑低秩最小化问题，该算法在处理矩阵恢复问题时优于先进的凸算法。

    Apr, 2014

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 黎曼分数基生成建模

    本研究介绍了一种称为 Riemannian Score-based Generative Models （RSGMs）的生成模型，采用一种新的方法将 SGMs 扩展到黎曼流形，尤其在地球和气候科学球形数据方面进行了演示。

    Feb, 2022

  • Grassmann 流形上的黎曼随机方差减少梯度

    本文提出了一种新的随机方差降低梯度算法的 Riemann 扩展，应用于紧致流形搜索空间，并展示了算法在多种问题上的应用和性能优于标准的 Riemannian 随机梯度下降算法。

    May, 2016

  • 通过格拉姆矩估算在大规模语料库上进行高效训练

    本文旨在解决使用神经网络嵌入模型学习非常大的语料库相似度函数的问题。我们提出了一种新的高效方法，通过添加全局二次惩罚项并将其表达为两个广义格拉姆矩阵的矩阵内积来训练这些模型，并开发了方差减少方案来提高估计质量。我们进行了大规模实验，结果表明与传统抽样方法相比，训练时间和泛化质量都有显着改善。

    Jul, 2018