Nov, 2019

word2ket：基于量子纠缠的空间高效词向量表示

PDF
TL;DR本文介绍了使用启发式方法来存储词语嵌入矩阵的两种相关方法，即 word2ket 和 word2ketXS，从而在实现高效的训练和推理时实现了存储词向量所需空间的百倍或更大的减少，并且在自然语言处理任务中实现了几乎不降低精度的结果。
deep learningnatural language processingword embeddingsquantum computingefficiency
发现论文，激发创造
  • 压缩词嵌入

    该论文研究了使用词向量空间中的哈希技术压缩向量表达的内部结构对嵌入式表示存储优化的影响，同时探讨了二元分解对于嵌入式表示的可解释性的提高。

    Nov, 2015

  • Tsetlin 机嵌入：用逻辑表达式代表单词

    本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

    Jan, 2023

  • 向量空间中单词表示的高效估计

    提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

    Jan, 2013

  • 量子启发式复杂单词嵌入

    本研究提出两个量子力学启发式模型，通过基于希尔伯特空间的相对相位来探究单词组合的含义，从而在二进制句子分类任务上达到了比非量子模型更好的性能。

    May, 2018

  • 探索词语和关系的理论表示

    该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

    Feb, 2022

  • Word2Bits - 量化词向量

    使用 1-2 位每个参数的量化函数学习高质量的量化词向量，该函数还可作为正则化器，从而在 word similarity 和 question answering 任务中取得更好的效果，并且占用的内存和存储空间显著减小。

    Mar, 2018

  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016

  • word2vec, node2vec, graph2vec, X2vec: 结构化数据的向量嵌入理论

    该研究探讨了图形和关系结构的矢量表示，以及生成这些表示的方法。作者提出了两种理论方法来理解矢量嵌入的基础，并建议未来的研究方向。

    Mar, 2020

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018

  • 使用本地训练的单词嵌入进行查询扩展

    本文研究了词嵌入在查询扩展中的应用，结果表明全局训练的 Word2Vec 和 GloVe 等词嵌入不能很好地完成信息检索任务，建议其他使用全局嵌入的任务也可以受益于使用局部嵌入。

    May, 2016