distributed word embeddings | BriefGPT

关键词distributed word embeddings

搜索结果 - 6

极值 GloVe：通过尾部推断实现理论上准确的分布式词向量嵌入
本文提出了一种理论上准确的 GloVe 模型，利用极值分析的理论，并通过重新定义权重最小二乘损失函数以及准确选择幂指数的方式来创建该模型。我们展示了我们的算法的竞争力，并显示 GloVe 的初始公式可以被视为我们的范例的一个特例。
PDF2 years ago
ACL基于主题模型的多义词嵌入
该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示，并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。
PDF5 years ago
ICLR打破 Softmax 瓶颈：高级 RNN 语言模型
本文将语言模型制定为矩阵分解问题，证明了基于 Softmax 的模型（包括大多数神经语言模型）的表达能力受到 Softmax 瓶颈的限制，指出在实践中，带有分布式单词嵌入的 Softmax 模型并没有足够的能力来对自然语言进行建模。作者提出
PDF7 years ago
全球思考，本地嵌入 --- 单词的本地线性元嵌入
提出一种无监督的本地线性元嵌入学习方法，使用预先训练好的分布式词嵌入生成更准确的元嵌入，表现优于该领域现有技术，建立新的元嵌入技术的最先进状态。
PDF7 years ago
用视觉对齐的单词嵌入来改善零样本学习
本文提出了一个目标函数来将分布式词嵌入与视觉信息重新对齐，通过学习将其映射到一个新的表示形式 —— 视觉对齐词嵌入（VAWE），从而使 VAWE 的邻域结构与视觉领域中的结构类似，以克服分布式词嵌入和视觉相似性不匹配的问题。经过四种最先进的
PDF7 years ago
基于计数模型的词向量表示恢复
该研究是关于使用基于计数的模型来提取文本的语义表征，使用 Hellinger 距离用于处理大型语料库中的单词共现统计数据，并获得了很好的性能表现。
PDF10 years ago