从对比微调的语言模型中提取语义概念嵌入

May, 2023

从对比微调的语言模型中提取语义概念嵌入

Distilling Semantic Concept Embeddings from Contrastively Fine-Tuned Language Models

Na Li, Hanane Kteich, Zied Bouraoui, Steven Schockaert

TL;DR提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的contextualized vectors代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用ConceptNet的方法的效果最佳。

Abstract

Learning vectors that capture the meaning of concepts remains a fundamental challenge. Somewhat surprisingly, perhaps, pre-trained language models have thus far only enabled modest improvements to the quality of such concept embeddings. Current strategies for using language models typi

发现论文，激发创造

面向本体论的预置语短语附加的词汇嵌入

该研究使用基于语义概念的上下文敏感的词嵌入，相比于传统的固定参数词嵌入，可以提高介词短语附着模型的准确度。

May, 2017

使用通用和特定词嵌入来分类研究的翻译阶段

本文探讨使用无监督学习的方法，通过单词嵌入在词向量空间内学习语义相似性，以实现对文本分类任务的性能优化。研究发现，使用领域特定的词嵌入可以提高分类性能。

May, 2017

超越词嵌入：从大规模知识库中学习实体和概念表示

本文提出了一种新颖而简单的技术，将来自不同结构的两个大型知识库中的概念知识（Wikipedia和Probase）整合起来，学习概念表示，并在两个任务上评估了概念嵌入模型：类比推理和概念分类，并展示了无监督环境中用于神经语义分析的参数识别的案例研究，相对于gazetteer和正则表达式等繁琐易出错的方法，我们的无监督方法具有更好的泛化能力。

Jan, 2018

从词到义项嵌入：对意义向量表示的调查

此研究综述了分布式语义表示的理论背景，介绍了从单词级别向更精细的词义级别转化的方法，并提供了对两种主要分支进行的广泛技术概述；最终，对其重要方面进行了分析与评估。

May, 2018

语言建模具有意义：通过WordNet传播表征进行全覆盖词义消歧

利用语境嵌入表示的词义表征，基于WordNet全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

Jun, 2019

命名实体识别中的上下文嵌入：一项关于泛化的实证研究

本文通过经验分析，将提到的未知名称根据新奇性和域外评估进行分离，并证明了最新情境嵌入模型在发现前所未见的名称方面特别有益，尤其是在域外评估中。

Jan, 2020

用语义类别探测量化单词表示的情境化

通过研究BERT中的单词上下文含义的量化，我们展示了预训练语言模型如何解释单词在上下文中的重要性，结果显示顶层语义表示对于任务的推断非常准确，底层语义表示更具可转移性。