Apr, 2022

企业用语的含义及其附近的其他事物

PDF
TL;DR该研究使用分析模型从传统理论中探究自然语言处理系统的统计学习方法，并在此基础上导出了有关使用这些算法和共现数据的系统的见解，进一步揭示了 Word2Vec 算法的潜力和其中的偏差，同时分析了共现模型中的统计依赖密度，并且发现了分布假设的部分实现。
natural language processingword2vecdeep learningmatrix factorizationstatistical dependencies
发现论文，激发创造
  • 基于相似性的词共现概率估计

    本文提出了一种基于分布式相似性的概率词汇联想模型，用于估算先前未见过的词组的概率，并在语音识别中获得了显着的错误率降低和复杂性改进。

    May, 1994

  • 贝叶斯神经词嵌入

    本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

    Mar, 2016

  • 指向未知单词

    本文针对 NLP 系统中稀有词和未知词的问题，提出了一种使用注意力机制的神经网络模型。该模型使用两个 softmax 层来预测条件语言模型中的下一个词，同时根据上下文情况来自适应地选择适合的 softmax 层。在 Europarl 英法平行语料和 Gigaword 数据集上，通过使用该模型进行神经机器翻译和文本摘要，我们观察到了实验结果的提高。

    Mar, 2016

  • word2vec 参数学习解析

    本文详细解释了 word2vec 模型的参数学习过程，包括 CBOW、skip-gram 等模型及优化技术，并提供了直观的梯度方程解释和数学推导，同时提供了神经网络和反向传播基础的回顾。

    Nov, 2014

  • 高风险学习：从微小数据中获取新单词向量

    本论文研究了分布式语义模型与小样本数据的问题，并展示了如何使用神经语言模型 Word2Vec，通过以前学习语义空间的背景知识，仅对其标准体系结构进行微小修改，以从微小数据中学习新术语，并在单词定义任务和少量上下文的例子任务中，相较于最先进的模型，呈现出大幅增长的性能。

    Jul, 2017

  • GloVe 与 word2vec 的链接

    本文讨论了 GloVe 和 skip-gram 两种单词向量表示方法在训练目标上的相似性，指出它们的目标与代价函数虽不同但具有类似性。

    Nov, 2014

  • 大规模神经词嵌入中的顺序建模

    提出了一种新的神经语言模型，它不仅包含单词顺序，还包括字符顺序，并利用 skip-gram 网络实现了高效的并行训练，从而在语义和句法类比任务中取得了 85.8％的高分。

    Jun, 2015

  • 极值 GloVe：通过尾部推断实现理论上准确的分布式词向量嵌入

    本文提出了一种理论上准确的 GloVe 模型，利用极值分析的理论，并通过重新定义权重最小二乘损失函数以及准确选择幂指数的方式来创建该模型。我们展示了我们的算法的竞争力，并显示 GloVe 的初始公式可以被视为我们的范例的一个特例。

    Apr, 2022

  • 基于相似度的单词共现概率模型

    本论文提出了一种基于分布式词语相似性的概率性词汇关联模型方法，旨在提高不常见单词组合的概率估计和降低语音识别错误率。模型在语言建模和伪单词消歧任务上发挥良好，且比传统的最大似然估计和后退估计方法表现更好。

    Sep, 1998

  • 将相关文档纳入 word2vec 中

    本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

    Jul, 2017