基于计数模型的词向量表示恢复

Dec, 2014

Rehabilitation of Count-based Models for Word Vector Representations

Rémi Lebret, Ronan Collobert

TL;DR该研究是关于使用基于计数的模型来提取文本的语义表征，使用 Hellinger 距离用于处理大型语料库中的单词共现统计数据，并获得了很好的性能表现。

Abstract

Recent works on word representations mostly rely on predictive models. Distributed word representations (aka word embeddings) are trained to optimally predict the contexts in which the corresponding words tend to appear. Such models have succeeded in capturing word similarties as well as semantic and syntactic regularities. Instead, we aim at reviving intere

word representation distributed word embeddings word co-occurrence statistics semantic similarity hellinger distance

发现论文，激发创造

将语义关系嵌入到词表示中

通过提取语料库中词汇的共现模式来实现无监督学习，学习不仅代表个体单词的表示，还明确捕捉代表单词间语义关联的词向量表示，并通过联合权重和二元分类器来描述单词间的语义关系，取得了普遍类比检测三个基准数据集中的显著性优势。

May, 2015

医疗信息学分类问题中基于单词和上下文表示的比较

本文研究了分布式文本表示的应用，比较了基于单词向量和基于上下文的句子向量两种表示方式在不同分类问题下的效果，结果显示，基于 ELMo，Universal Sentence Encoder，Neural-Net Language Model 和 FLAIR 的上下文表示效果较好，相较于基于词向量的表示，分类准确率提高了 2-4%。

Jun, 2019

探索词语和关系的理论表示

该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

Feb, 2022

使用词语的分布式表示来衡量词语的重要性

使用长度和词频作为语料中单词重要性的衡量，通过 word2vec 神经网络提取语法和语义特征，将单词映射到二维平面并自动排名。

Aug, 2015

Hellinger PCA 嵌入词向量

通过对单词共现矩阵的 Hellinger PCA，大大简化了单词嵌入的计算，从而成功地生成了适合于命名实体识别和影评任务的新单词嵌入，同时展示了深度学习如何提供一种简单方法来适应特定任务。

Dec, 2013

向量空间中单词表示的高效估计

提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

Jan, 2013

将相关文档纳入 word2vec 中

本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

Jul, 2017

使用子词信息丰富单词向量

本文提出一种基于 skip-gram 模型的新方法，其中每个单词被表示为一组字符 n-grams 的加和。该方法快速、可在大型语料库上快速训练模型，同时可以计算未出现在训练数据中的单词的表示。我们在九种不同的语言上评估了我们的单词表示，通过与最近提出的形态单词表示进行比较，我们发现我们的向量在这些任务上达到了最先进的性能。

Jul, 2016

基于相关性的词嵌入

本文提出两种具有不同目标函数的学习模型，用于基于查询 - 文档相关性信息学习单词表示，实验结果表明相对于 Word2vec 等基于词语相似度的模型，基于相关性的单词嵌入模型在查询扩展和查询分类等信息检索任务上具有显著优越性。

May, 2017

使用词嵌入的非参数球形主题建模

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016