MMSep, 2020

大规模推荐系统中的 Word2vec 调优

PDF
TL;DR本文描述了 Word2vec 算法在推荐系统中的应用和默认参数的问题，并通过 hyperparameter optimization 的方法，大幅提高了推荐命中率，在 Twitter Who To Follow 推荐中还成功提高了 15％关注率。
发现论文，激发创造
  • 应用于推荐的 Word2Vec 算法：超参数的重要性

    本文探究了 Skip-gram with negative sampling 在推荐领域中的应用，通过大型超参数网格搜索发现了调整负采样分布、迭代次数、子采样参数和窗口大小等被忽略的超参数可以显著提高推荐系统性能，并发现自然语言处理任务和推荐任务的最优超参数配置存在明显差异。

    Apr, 2018

  • 大词汇量网络高效分布式 Word2vec 训练系统

    本文介绍了一种基于分布式并行训练的新型 Word2vec 算法，可以有效训练具有数亿个单词的大词汇量语料库的词向量表示，而不需要大量数据传输或单个服务器的存储。经实验证明，在 Gemini 广告投放平台实践中取得了显著的业务贡献。

    Jun, 2016

  • 从词嵌入到物品推荐

    本研究使用 Word2Vec 技术应用于推荐系统领域，通过利用 Check-ins 这一非文本特征向用户推荐地点，实验结果表明使用 Word2Vec 对推荐系统中物品的连续向量表示能够取得良好的效果。

    Jan, 2016

  • word2vec 参数学习解析

    本文详细解释了 word2vec 模型的参数学习过程，包括 CBOW、skip-gram 等模型及优化技术，并提供了直观的梯度方程解释和数学推导，同时提供了神经网络和反向传播基础的回顾。

    Nov, 2014

  • 调参还是不调参？一种推荐重要超参数的方法

    本文探讨机器学习模型性能和超参数之间的关系，通过实验结果发现了趋势和启示，并得出使用梯度提升和 Adaboost 分类器是最佳选择的结论。

    Aug, 2021

  • 共享和分布式内存中的 Word2Vec 并行化

    本文介绍了一种对 Word2Vec 算法的优化，包括使用小批量处理方法和分布式计算，实现了该算法在多核 CPU 上的线性速度提升和语料处理速度的大幅提高。

    Apr, 2016

  • 向量空间中单词表示的高效估计

    提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

    Jan, 2013

  • 应用深度学习技术于全球网络中的医学语料库：一个原型系统与评估

    本研究采用 Word2Vec 深度学习工具对医学语料库进行了测试，以验证其在未结构化文本中识别关系的潜力，结果表明 Word2Vec 的排名生成和检索结果质量不足以用于知识库自动填充，但可作为手动筛选的起点。

    Feb, 2015

  • Word2Vec 的高效并行学习

    提出了一种缓存策略，用于 Word2Vec 和其变种的并行学习，以提高其效率，并在降低准确性方面对多线程并行学习中的内存更新冲突进行了探讨。

    Jun, 2016

  • 在多核和众核架构中并行化 Word2Vec

    本文提出了一种名为 HogBatch 的算法，在多核 CPU 框架下利用小批量与负样本共享，更好地重复利用算法中的各种数据结构，并使用矩阵乘法操作来优化模型，同时探索了将 Word2vec 计算分布到计算集群中的不同技术，表现出良好的强可扩展性，被认为是目前最快的 Word2vec 实现方法。

    Nov, 2016