Apr, 2024

重新审视 Skip-Gram 负采样：在图嵌入中进行尺寸正则化以实现更高效的差异性保留

PDF
TL;DR将节点吸引和维度规范化作为替代方法的图嵌入优化技术，从而提高算法效率。
graph embeddingskip-gram negative samplingdimension regularizationalgorithm augmentationefficiency
发现论文，激发创造
  • Skip-Gram 负采样的黎曼优化

    本文提出一种基于黎曼优化的算法，有效优化 Skip-Gram Negative Sampling（SGNS）词嵌入模型，与传统方法和基于 SPPMI 矩阵的 SVD 相比表现更优。

    Apr, 2017

  • 负采样增量式 Skip-gram 模型

    本文从经验和理论两个角度，探索了一种用于 skip-gram 模型的增量式训练策略，通过提供简单的增量式扩展并深入理论分析，解决了现有神经词向量嵌入算法（包括 SGNS）的多遍训练和无法进行增量式更新的问题，实证实验证明了其正确性和实用性。

    Apr, 2017

  • 利用自嵌入特征改进单词表示的负采样

    本文提出了一种基于多维特征动态选择负采样的算法，以解决在 skip-gram 模型中使用流行度采样器的梯度消失问题，实验证明其在提高效果的同时并不增加计算复杂度。

    Oct, 2017

  • 全局节点表示向量

    本文提出了一种矩阵分解方法，受到 GloVe 启发，用于网络节点嵌入，同时学习单词、节点和文档表示，该模型表现出良好的性能和鲁棒性，可用于探索文件网络，并生成互补的网络和内容关键字。

    Feb, 2019

  • 图表示学习中负采样的理解

    本文研究图表示学习中的负采样对于优化目标和结果方差的重要性，并提出了一种基于自对比近似和 Metropolis-Hastings 加速的负采样方法，MCNS，应用于链接预测、节点分类等任务，并在 19 个实验设置中证明了其优越性。

    May, 2020

  • 通过对比正则化提高图表示学习

    通过理论分析和实验，本文提出一种轻量级正则化项，旨在避免节点表示的高规范化和高变异性以提高泛化性能，从而在不同的节点相似性定义方面显着改善表示质量并超越现有最佳方法。

    Jan, 2021

  • 可扩展的图自监督学习

    通过采样节点或维度，可以降低损失计算成本，并且不会降低下游性能。

    Feb, 2024

  • NSCaching: 为知识图谱嵌入提供简单高效的负采样

    本文提出了一种新的负采样方法，通过直接跟踪积极的负采样三元组，避免 GAN 带来的训练困难，实现了高效而有效的 Knowledge Graph embedding。

    Dec, 2018

  • 理解和缓解图对比学习中的维度崩溃：一种非最大值消除方法

    该论文提出了一种非最大值移除图对比学习方法，用于解决图对比学习中维度塌陷的问题，并在多种基准数据集上进行了全面的实验证明了该方法的有效性。

    Mar, 2022

  • 知识图表示学习中的负采样：综述

    知识图谱表示学习（KGRL）或知识图谱嵌入（KGE）在知识构建和信息探索的人工智能应用中起着至关重要的作用。这篇综述论文系统地回顾了各种负采样（NS）方法及其对 KGRL 成功的贡献，将现有的 NS 方法按照五个不同的类别进行了分类，并指出了各自的优缺点。此外，该综述还提出了一些开放性研究问题，为未来的研究提供了潜在方向。通过提供基础 NS 概念的概括和对齐，这篇综述为在 KGRL 环境下设计有效的 NS 方法提供了有价值的洞察，并为该领域的进一步发展提供了动力。

    Feb, 2024