本文介绍了一种利用集成学习方法构建元嵌入(meta-embeddings) 的方式,通过将不同的公开嵌入集合相结合,提高嵌入语义的质量。和单个嵌入集相比,元嵌入可以更好地完成词相似性,词类标注等任务,并且具有更广泛的词汇覆盖。
Aug, 2015
提出一种无监督的本地线性元嵌入学习方法,使用预先训练好的分布式词嵌入生成更准确的元嵌入,表现优于该领域现有技术,建立新的元嵌入技术的最先进状态。
Sep, 2017
介绍了一种通过神经网络自行学习嵌入向量的方法 —— 动态元嵌入,该方法在同一模型类别下,在各种任务中实现了最先进的性能,并展示了该技术如何在 NLP 系统中应用嵌入向量。
Apr, 2018
本文提出了一种基于多模态对比目标的句子嵌入学习方法,利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能,并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。
Apr, 2022
提出了一种新的领域嵌入学习方法,通过元学习将过去领域的语料库利用起来来扩充当前领域的语料库,从而生成高质量的领域嵌入,从而提高下游 NLP 任务的性能。
May, 2018
我们提出了一种 Hierarchical Meta-Embeddings (HME) 模型来学习将多个单语言层和子单词层嵌入结合起来创建语言不可知的词汇表示,用于英语 - 西班牙语代码交换数据的命名实体识别任务中,我们的模型在多语言环境下获得了最先进的表现,而且证明在跨语言环境下,不仅利用了紧密相关的语言,而且还从不同根源的语言中学习,最后,我们还证明了结合不同的子元素对于捕获代码切换实体非常重要。
Sep, 2019
本文研究了元词向量嵌入(meta-embedding)的学习方法,提出了利用加权拼接来学习更准确和广泛覆盖面的词向量的两种无监督方法,并在多个基准数据集上进行试验,结果表明这些加权拼接的 meta-embedding 方法优于以前的 meta-embedding 学习方法。
本文提出了第一种元语义嵌入方法 - 近邻保留元语义嵌入,该方法通过组合多个独立训练的源感知嵌入来学习元感知嵌入,从而保留了源嵌入中计算的感知邻域,实验证明该方法在词义消歧和上下文词任务中持续优于竞争基线。
May, 2023
本文提出一种基于梯度元学习的嵌入式集成元学习算法 (EEML),该算法显式地利用多模型集成将先前任务的先验知识组织成不同的特定专家,并依赖于任务嵌入聚类机制,在训练过程中将不同的任务交给匹配的专家并指导专家在测试阶段如何协作。实验证明,该方法在少样本学习问题上显著优于最近的最新技术。
Jun, 2022
提出了一种句子级元嵌入学习方法,利用不同的上下文化语言模型,通过无监督的学习方式学习句子嵌入,以满足不同需要的下游自然语言处理任务,实验证明提出的方法优于以往的方法和有监督的基线。