ACLMay, 2016

将分布式词汇对比集成到词向量中用于反义词 - 同义词区分

PDF
TL;DR该论文提出了一种新的向量表示方法，将词汇对比整合到分布式向量中，并加强了确定词语相似度度量的最显著特征。改进后的向量模型明显优于标准模型，并且可以跨词类（形容词，名词，动词）将反义词从同义词中区分开来。此外，该论文还将词汇对比向量整合到跳字模型的目标函数中，改进后的嵌入能够超越现有最先进的模型，在预测 SimLex-999 中的词语相似度和区分反义词和同义词方面表现优异。
发现论文，激发创造
  • 将词向量拟合到语言约束条件上的计数器

    该研究提出了一种注入反义词和同义词约束条件以提高向量对语义相似性判断能力的新型 Counter-fitting 方法。将该方法应用于公开预训练的词向量，可在 SimLex-999 数据集上达到新的最高性能水平。研究还展示了如何使用该方法来调整词向量空间以用于下游的对话状态追踪任务，使结果在不同的对话领域都得到了可靠的改进。

    Mar, 2016

  • 词汇语义增强的神经词向量

    通过深度度量学习进行后处理可以提高神经语言模型中语义相似度推断的效果，并将层次拟合用于建模 IS-A 层次中的语义相似性细微差别。

    Oct, 2022

  • 基于模式的神经网络中的反义词和同义词判别

    该研究提出一种名为 AntSynNET 的神经网络模型，利用词汇 - 句法模式和合成语法树来区分词汇关系，实验结果表明 AntSynNET 相对先前的基于模式的方法表现更好。

    Jan, 2017

  • 利用蕴涵的分布式语义学学习上下位词的词嵌入

    该研究提出了一种基于向量空间的框架来对词汇包容性建模的分布语义模型，利用伪短语中邻近的两个词向量提出了一种隐向量，并探究了模拟词作为证据或词作为后验分布的优缺点。实验表明，所得到的词嵌入模型优于之前预测词之间下义词关系的最佳结果。

    Oct, 2017

  • 利用句法依存关系和神经嵌入进行同义词检测

    本文研究了向量空间模型在自然语言处理领域的一些应用，通过比较不同模型在 TOEFL 同义词检测中的效果，发现在计算分布相似度时，句法依赖可以更好地解释词汇语义，同时将人工语义知识注入到神经嵌入中可以显著提高同义词检测的效果。

    Sep, 2022

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • 句子嵌入的构成对比学习

    通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

    Jul, 2023

  • Word2Vec 和词典在领域特定语义相似度方面的协同联合

    本研究引入了一个领域特定的语义相似度方法，该方法是由 word2vec 和基于词典的语义相似度方法的协同联盟所创建的，并证明了该方法优于通用语料库和域特定语料库训练的词嵌入方法，还证明了词形归并可以提高词嵌入方法的性能。

    Jun, 2017

  • 将词向量改进应用于语义词典

    本文提出了一种基于语义词典的关系信息来改进词向量表示的方法，并在多种语言的标准词汇语义评估任务中获得了显著的改进，其方法超越了以往词向量训练算法中融入语义词典的技术。

    Nov, 2014

  • 词嵌入的表现能力

    本研究主要通过对情感极性和同义词 / 反义词关系的评估，比较不同嵌入方法之间的质量差异，并探讨嵌入空间中维数的多少以及每个维度的分辨率对 NLP 任务的影响。结果表明嵌入方法在不考虑句子结构的情况下可以捕捉到非常微妙的语义，而确定嵌入方法的质量和特性对最终结果具有重要影响。

    Jan, 2013