WWWMar, 2019

利用外部知识库和词嵌入进行上下文组合性检测

PDF
TL;DR本文提出了一种基于 contextual word embedding 以及外部知识库的方法，用于实现多词组的非固定组合性自动检测，该方法在数据集测评中表现良好。
compositionalitymulti-word phrasescontextualword embeddingexternal knowledge bases
发现论文，激发创造
  • 使用 Poincaré 嵌入预测名词词组的组合性

    论文介绍了一种利用多层次信息和分布式信息的新技术，以检测名词短语的组合度，同时采用有监督的方法，并且使用了 Poincaré 嵌入，可以获得显著的效果提升。

    Jun, 2019

  • 组合和非组合短语嵌入的自适应联合学习

    本文提出了一种新的方法，通过自适应加权组成和非组成短语嵌入来学习短语嵌入，其中使用组成性评分函数量化每个短语的组成水平，并联合优化功能参数。在实验中，我们将自适应联合学习方法应用于学习及物动词短语的嵌入，并显示组成分数与动词 - 宾语组合的人类评分具有很强的相关性，明显优于以往的技术水平。此外，我们的嵌入在及物动词消歧任务上也优于以前的最佳模型。我们还展示了一种简单的集成技术，进一步提高了两项任务的结果。

    Mar, 2016

  • 从基础开始建立表示？语言模型中局部组合的实证研究

    本文探讨了现代语言模型是否能够学会表示复合短语中的复合性和非复合性，通过预测长语的内部表示来证明了现代语言模型可以预测一个父短语的表示。同时，通过多种分析，揭示了不同类型的语言模型何时产生了复合表示，并探讨了未来建模工作的可能性。

    Oct, 2022

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 情感中的非组合性：新数据与分析

    本研究通过评估非组合性评分的短语，构建了一个新的资源 NonCompSST，并使用该资源对情感分析的计算模型进行了评估。

    Oct, 2023

  • 仍是个烦人的问题：评估文本表示在词组合成中的表现

    本研究通过测试多种文本表示模型的性能，发现与静态词嵌入相比，上下文有关的单词表示模型对于检测含义转移等方面的应对能力更强，但在获取暗含信息方面，其表现仍远远不及人类水平。研究者设计的包含 5 个涉及词汇组合效应的任务的评估套件可用于提高此类表示模型的研究。

    Feb, 2019

  • 一种分析概念组合的组合性的概率框架

    本文提出了一种新的概率框架，用于评估概念组合的语义是否是组合性的，并提供了将概念组合的语义分类为 “组合性” 或 “非组合性” 的正式方法。

    May, 2013

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 探索上下文学习与组合泛化之间的关系

    通过在不同顺序的训练实例和打乱实例标签中训练模型，以测试强迫模型进行上下文学习对组成概括的促进作用的假设，研究表明，以这种方式训练的模型在组成概括方面确实显示出改进，证明了上下文学习问题作为归纳偏差用于概括的有效性。

    Mar, 2024