skip-gram | BriefGPT - AI 论文速递

关键词skip-gram

搜索结果 - 11

ACL利用 Context-to-Vector 和 Graph Retrofitting 改进词嵌入
通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。
PDF2 years ago
EMNLPCorrected CBOW 与 Skip-gram 表现相当
对比 CBOW 和 Skip-gram 两种词向量嵌入方法，发现 CBOW 实现时出现了误差，经过纠正后，可以在训练速度更快的情况下，和 Skip-gram 实现相比取得和在各自内在和外在任务上的同等竞争力。
PDF4 years ago
在双曲空间中的 Skip-gram 词向量嵌入
本文介绍了一种在超几何空间中学习自由文本词嵌入的算法，并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中，超几何词嵌入具有潜在优势，但在一些方面和欧几里得词嵌入没有
PDF6 years ago
MM应用于推荐的 Word2Vec 算法：超参数的重要性
本文探究了 Skip-gram with negative sampling 在推荐领域中的应用，通过大型超参数网格搜索发现了调整负采样分布、迭代次数、子采样参数和窗口大小等被忽略的超参数可以显著提高推荐系统性能，并发现自然语言处理任务和推
PDF6 years ago
WSDM网络嵌入作为矩阵分解：DeepWalk、LINE、PTE 和 node2vec 的统一
本研究提出了 NetMF 方法，通过矩阵分解的方式实现 skip-gram 网络嵌入方法的统一框架，并将各种经典的 skip-gram 方法（DeepWalk、LINE、PTE 和 node2vec）统一到该框架下。此方法是目前常规网络挖掘
PDF7 years ago
用 Space-Saving 算法流式生成词向量
本文使用流式数据处理技术，开发了一个基于 skip-gram 和负采样实现的词嵌入算法，并在 Twitter 数据流中进行了实验，发现其可以部分替代 word2vec。
PDF7 years ago
ACL学习词向量中上下文类型和维度的作用
本文通过对不同类型的上下文学习 skip-gram 词嵌入对广泛的内在和外在自然语言处理任务性能的首次全面评估，发现内在任务在特定类型的上下文和更高的维度方面更好，而对于大多数外在任务，需要更仔细的调整来找到最佳设置；另外，对于这些外在任务
PDF8 years ago
ACL结合语言和视觉的多模式跳字模型
本研究通过将视觉信息纳入 SKIP-GRAM 模型，创新性地提出了一种多模式的词向量表达方式，并取得了良好的语义基准表现。同时，该模型还能够将视觉信息传递到所有词中，用于改进零样本图像标注和检索，并探索了抽象词汇的有趣视觉属性，为意义的具体
PDF9 years ago
将 DeepWalk 解读为矩阵分解
本文介绍了 Word2vec、Skip-Gram、Negative Sampling 和 DeepWalk 等工具和算法，重点讲述了 DeepWalk 算法在图上节点嵌入方面的研究和应用，并证明了 DeepWalk 算法实际上是在对一个矩阵
PDF10 years ago
GloVe 与 word2vec 的链接
本文讨论了 GloVe 和 skip-gram 两种单词向量表示方法在训练目标上的相似性，指出它们的目标与代价函数虽不同但具有类似性。
PDF10 years ago
word2vec 参数学习解析
本文详细解释了 word2vec 模型的参数学习过程，包括 CBOW、skip-gram 等模型及优化技术，并提供了直观的梯度方程解释和数学推导，同时提供了神经网络和反向传播基础的回顾。
PDF10 years ago