ACLMar, 2016

将词向量拟合到语言约束条件上的计数器

PDF
TL;DR该研究提出了一种注入反义词和同义词约束条件以提高向量对语义相似性判断能力的新型 Counter-fitting 方法。将该方法应用于公开预训练的词向量，可在 SimLex-999 数据集上达到新的最高性能水平。研究还展示了如何使用该方法来调整词向量空间以用于下游的对话状态追踪任务，使结果在不同的对话领域都得到了可靠的改进。
发现论文，激发创造
  • 将分布式词汇对比集成到词向量中用于反义词 - 同义词区分

    该论文提出了一种新的向量表示方法，将词汇对比整合到分布式向量中，并加强了确定词语相似度度量的最显著特征。改进后的向量模型明显优于标准模型，并且可以跨词类（形容词，名词，动词）将反义词从同义词中区分开来。此外，该论文还将词汇对比向量整合到跳字模型的目标函数中，改进后的嵌入能够超越现有最先进的模型，在预测 SimLex-999 中的词语相似度和区分反义词和同义词方面表现优异。

    May, 2016

  • 将词向量改进应用于语义词典

    本文提出了一种基于语义词典的关系信息来改进词向量表示的方法，并在多种语言的标准词汇语义评估任务中获得了显著的改进，其方法超越了以往词向量训练算法中融入语义词典的技术。

    Nov, 2014

  • Morph-fitting：用简单的特定语言规则微调词向量空间

    提出了一种新颖的基于词形的约束方法，通过使用简单的语言特定规则来改进分布向量空间的语义质量，这种方法可以提高低频词估计的准确性，并在解决语言理解任务的长尾现象方面取得显著的效果。

    Jun, 2017

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • Word2Vec 和词典在领域特定语义相似度方面的协同联合

    本研究引入了一个领域特定的语义相似度方法，该方法是由 word2vec 和基于词典的语义相似度方法的协同联盟所创建的，并证明了该方法优于通用语料库和域特定语料库训练的词嵌入方法，还证明了词形归并可以提高词嵌入方法的性能。

    Jun, 2017

  • 句子嵌入的构成对比学习

    通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

    Jul, 2023

  • Extrofitting: 用语义词典丰富词汇表示及其向量空间

    本文提出了一种名为 extrofitting 的后处理方法，使用语义词典丰富单词表示和其向量空间，包括向所有单词向量上扩展 1 个或多个维度，填充代表值并将语义知识传输到这些扩展的维度。此外，采用线性判别分析进行向量空间映射，得到最终的词向量表示。实验证明，该方法在一些单词相似度任务上胜过 Faruqui 的后调方法，并对其维度、词汇表大小等进行了进一步的分析。

    Apr, 2018

  • 神经机器翻译中集成向量化词汇约束

    该研究提出了一种直接将词汇约束集成到神经机器翻译模型中的方法，通过将词汇约束向量化为连续的键和值，并利用 NMT 模型的注意力模块来表征词汇约束对，并在四种语言对上表明了该方法的优越性。

    Mar, 2022

  • 通过对齐异构词汇语义空间实现未见词表示

    本文提出了一种利用词典等词汇资源，采用图嵌入和跨语言向量空间转换技术，为未见过的单词诱导嵌入的方法，对多个基准测试进行了优化，表现出一致的性能提升。

    Nov, 2018