介绍了一种通过神经网络自行学习嵌入向量的方法 —— 动态元嵌入,该方法在同一模型类别下,在各种任务中实现了最先进的性能,并展示了该技术如何在 NLP 系统中应用嵌入向量。
Apr, 2018
提出一种无监督的本地线性元嵌入学习方法,使用预先训练好的分布式词嵌入生成更准确的元嵌入,表现优于该领域现有技术,建立新的元嵌入技术的最先进状态。
Sep, 2017
通过构建一个辅助任务来重建词嵌入集成,从而规范主任务,从而在使用各种标记的词相似度数据集进行监督的基础上,显著改善了词相似度数据集的表现,并在序列标记和句子分类中进行了词元嵌入的重建。
Sep, 2018
本文为填补学界在 Meta-embedding learning 系统调查领域的空白着重于分类 Meta-embedding learning 方法,并在讨论其限制和未来研究方向时,探究了该方法在多源嵌入语义中的优势。
Apr, 2022
本文提出了一种集成方法,通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合,将它们的信息融合成一个具有大型多语言词汇的共同表示,并达到了许多词语相似性评估的最先进性能
Apr, 2016
本文提出一种基于梯度元学习的嵌入式集成元学习算法 (EEML),该算法显式地利用多模型集成将先前任务的先验知识组织成不同的特定专家,并依赖于任务嵌入聚类机制,在训练过程中将不同的任务交给匹配的专家并指导专家在测试阶段如何协作。实验证明,该方法在少样本学习问题上显著优于最近的最新技术。
Jun, 2022
使用多种语言 Wikipedia 来为 100 多种语言训练单词嵌入表示,并将其应用在词性标注中取得了与英语、丹麦语和瑞典语接近最新成果的表现。此外,通过单词分组的距离等方式,进一步研究了这些嵌入所捕获的语义特征,并将这些嵌入公开以帮助多语言应用的开发和增强.
Jul, 2013
本文介绍了一种新的技术来创建单语和跨语言的元嵌入。通过使用多种技术、文本来源、知识库和语言创建的多个单词嵌入,使用线性变换和平均值将现有单词向量投射到公共语义空间,以保持原始嵌入的维度,并通过处理词汇表外的问题而不失去信息。经过广泛的实证评估,我们的技术在各种内在和外在的多语言评估方面表现出对以前工作的有效性,并获取了在语义文本相似性方面具有竞争力的结果,并在单词相似性和词性标注方面得到了最先进的性能(英文和西班牙文)。跨语言元嵌入还表现出优秀的跨语言转移学习能力,即我们可以利用资源丰富的语言中预训练的源嵌入来改进贫乏语言的单词表示。
Jan, 2020
提出了一种新的领域嵌入学习方法,通过元学习将过去领域的语料库利用起来来扩充当前领域的语料库,从而生成高质量的领域嵌入,从而提高下游 NLP 任务的性能。
May, 2018
本文提出了第一种元语义嵌入方法 - 近邻保留元语义嵌入,该方法通过组合多个独立训练的源感知嵌入来学习元感知嵌入,从而保留了源嵌入中计算的感知邻域,实验证明该方法在词义消歧和上下文词任务中持续优于竞争基线。
May, 2023