Oct, 2022

基于子空间的预训练词嵌入空间集合运算

PDF
TL;DR本研究提出了一种利用预训练词向量空间中的子空间进行集合运算的新方法，并在 Text Concept Set Retrieval 和 Semantic Textual Similarity 任务中进行了实验证明了该方法的有效性。
word embeddingset operationsquantum logicsentence similaritytextual similarity
发现论文，激发创造
  • 词嵌入表示的内在子空间评估

    本文介绍了一种新的内在评价词汇表示的方法。我们提出了四个基本标准来检测这种方法是否能够满足自然语言的一些难点，我们提出了一些测试来直接展示这些标准是否得到满足。在此基础上，我们将这种方法应用于计数向量模型和神经网络模型等多种模型的比较，并证明了这些模型的重要性质。

    Jun, 2016

  • 基于子空间嵌入的轻量级神经语言模型适应

    我们提出了一种新的紧凑嵌入结构，通过对预训练语言模型中的标记之间的上下文关系进行一组子空间嵌入和分配过程，来减少预训练语言模型的内存占用，牺牲高达 4% 的绝对准确率。我们的实验结果表明，子空间嵌入在 XNLI 和 GLUE 基准套件上与原始嵌入相比，达到了超过 99.8% 的压缩率。

    Aug, 2023

  • 词向量集之间的相关性

    研究表明，基于单词嵌入的相似性度量方法在无监督语义文本相似性（STS）任务中正在与更复杂的深度学习和专家设计的系统轻松竞争。通过将一个单词嵌入视为标量随机变量的例如 300 个观测值，我们避免了传统的几何方法，使用于基本汇集运算和经典相关系数得到的相似性效果很好，胜过许多最近的方法，同时速度更快且实现容易。此外，研究认为通过重新生成核希尔伯特空间之间的相关算子，可以避免汇集运算并直接比较词嵌入集。正如余弦相似性用于比较单个单词向量一样，我们介绍了中心核对齐（CKA）的一种新颖应用，作为平方余弦相似性的集合的自然推广。同样，CKA 非常易于实现，并享有非常强的实证结果。

    Oct, 2019

  • Tsetlin 机嵌入：用逻辑表达式代表单词

    本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

    Jan, 2023

  • 使用子词袋来泛化字嵌入

    本文提出了一种基于子词级别的词向量生成模型来解决传统词向量模型无法应对未登录词、破音字等问题，并在英文词汇相似性任务和 23 种语言的词性标注和变形属性的联合预测任务中实现了最优表现。

    Sep, 2018

  • 以概念子空间为基础的实体嵌入用于合理推理

    本研究提出一种基于向量空间嵌入的方法，通过 Wikipedia 学习实体的嵌入并将其限制在某些较低维度子空间中，以解决概念空间表示建模自动化的局限性，实验结果表明这些子空间能够作为近似的概念空间表示，其重要特征可以被建模为方向，而自然属性则往往对应于凸区域。

    Feb, 2016

  • 探索词语和关系的理论表示

    该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

    Feb, 2022

  • 使用本地训练的单词嵌入进行查询扩展

    本文研究了词嵌入在查询扩展中的应用，结果表明全局训练的 Word2Vec 和 GloVe 等词嵌入不能很好地完成信息检索任务，建议其他使用全局嵌入的任务也可以受益于使用局部嵌入。

    May, 2016

  • 通过子词参数重建词向量嵌入

    该研究提出了在子词素水平上进行操作以从预先训练的词嵌入中受益的方法，并报告了在词相似性、词类别标注等任务上的有趣结果。

    Jul, 2017

  • 压缩词嵌入

    该论文研究了使用词向量空间中的哈希技术压缩向量表达的内部结构对嵌入式表示存储优化的影响，同时探讨了二元分解对于嵌入式表示的可解释性的提高。

    Nov, 2015