May, 2023

Vec2Gloss：利用 Wordnet 定义和上下文向量建模

PDF
TL;DR本文提出一种名为 “Vec2Gloss” 的模型，通过使用语境化嵌入来生成目标词的文本定义来表达高维语义向量，利用中文 Wordnet 提供的系统化概述模式生成这项研究的定义，并设计了两个依赖度量来分析生成的文本。结果表明 “Vec2Gloss” 模型为语境化嵌入的词汇语义应用开辟了新的视角。
contextualized embeddingsdefinition modelinglexical semanticsvec2gloss modelchinese wordnet
发现论文，激发创造
  • xSense: 学习分离词义的稀疏表示和文本定义，实现可解释的词义网络

    本文研究了词向量的解释问题，提出了一种算法可通过上下文信息和目标词语推断其意义，进而利用循环神经网络生成该词汇的定义，实现对词向量的直接解释。同时，作者提出了一个高质量的词汇上下文 - 定义数据集，用于词义消歧与定义建模。经实验测试，该方法在 BLEU 评分和人工评估测试中表现出卓越的性能。

    Sep, 2018

  • 利用 Context-to-Vector 和 Graph Retrofitting 改进词嵌入

    通过将上下文信息与传统静态嵌入相结合，以及使用预先的同义词知识和加权向量分布来提高词嵌入的效果。

    Oct, 2022

  • 高风险学习：从微小数据中获取新单词向量

    本论文研究了分布式语义模型与小样本数据的问题，并展示了如何使用神经语言模型 Word2Vec，通过以前学习语义空间的背景知识，仅对其标准体系结构进行微小修改，以从微小数据中学习新术语，并在单词定义任务和少量上下文的例子任务中，相较于最先进的模型，呈现出大幅增长的性能。

    Jul, 2017

  • 从对比微调的语言模型中提取语义概念嵌入

    提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

    May, 2023

  • 将词汇注释融入神经词义消歧

    该论文提出了一种新的神经网络模型 GAS，在词汇资源和上下文信息的共同作用下实现了更好的词义消歧效果。

    May, 2018

  • 深度上下文词表示

    本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。

    Feb, 2018

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 定义建模：建立定义。使用少量或没有语义生成定义

    本文研究任务是生成定义，目的是评估单词嵌入的语义质量，本文证明这个任务与语义相关性较小，并且依赖于头词和语境中出现的单词之间的形式相似性，从而对用此任务来评估单词嵌入的有效性提出质疑。

    Jun, 2023

  • Gram2Vec：一种可解释的文档向量化方法

    介绍了 Gram2Vec，一种将文档嵌入到高维空间的语法风格嵌入算法。通过提取文本中存在的语法特征的标准化相对频率，Gram2Vec 提供了固有的可解释性。使用 Gram2Vec 向量的作者到文档的映射可视化，并演示了添加或删除特征以查看哪些作者做出了某些语言选择。然后，使用作者归属作为应用程序，展示了 Gram2Vec 如何解释为什么将文档归属于某个作者，通过计算 Gram2Vec 特征向量之间的余弦相似度来计算候选文档与查询文档之间的距离。

    Jun, 2024

  • 上下文中的迷失？关于上下文化词向量的意义差异

    揭示了上下文化单词嵌入的一些特征，包括上下文中单词意思的变化程度，单词在不同上下文中的一致性，以及单词位置偏差的影响，并提出一种减轻这种偏差的简单方法。

    Aug, 2022