Nov, 2018

利用本地和全局语境学习短语描述

HTML
PDF
TL;DR本研究旨在回答机器学习是否能较好地处理文本中的未知词汇以及哪种上下文对于机器来说更为重要的问题，通过构建一个由两个上下文编码器和一个描述编码器组成的神经模型，本研究证明了在处理非标准英语解释和定义生成时，全局上下文与分布在本地文本中的线索都是对于机器有用的。
发现论文，激发创造
  • 用词典嵌入学习理解短语

    使用字典中的定义作为桥梁，将定义（短语）映射到单词的词汇表达式上，利用这种方式进行训练的神经嵌入模型能够有效地解决短语和句子的语义表示问题，并具有广泛应用前景。

    Apr, 2015

  • 指代表达中的上下文建模

    本研究旨在使用更好的视觉上下文测量标准，将对象识别和自然语言表达结合起来，从而提高对象识别和自然语言表达模型的性能。在 RefCOCO、RefCOCO+ 和 RefCOCOg 三个数据集上的评估表明，我们的方法对于对象指称生成和理解都具有优势。

    Jul, 2016

  • 学习解释非标准英语单词和短语

    利用15年的UrbanDictionary.com数据，提出了一种基于数据驱动的方法，可以自动解释给定句子中的新的非标准英语表达式。该方法利用神经序列-序列模型，通过上下文学习生成解释，利用双编码器方法，即单词级编码器学习上下文表示，字符级编码器学习目标非标准表达式的隐藏表示。该模型可以在一定置信水平下生成新的非标准英语表达式的合理定义。

    Sep, 2017

  • 神经网络引用表达生成的端到端方法

    本文提出了一种新方法 NeuralREG，该方法通过深度神经网络一步决定形式和内容，并在WebNLG语料库的去词汇化版本上显示出优越的性能，数据和模型已公开。

    May, 2018

  • 语言建模具有意义：通过WordNet传播表征进行全覆盖词义消歧

    利用语境嵌入表示的词义表征，基于WordNet全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

    Jun, 2019

  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现fine-tuning是学习包含MWE的句子表示的一种有效的样本高效方法。

    Sep, 2021

  • 使用语义兼容性进行惯用语表达式识别

    本研究提出了一种多阶段深度神经网络架构，利用注意力机制和上下文信息对句子中的习语表达进行定位，通过评估表明该模型能够在各类习语表达的数据集上实现新的最优结果，并具有对未见过的习语表达的识别能力。

    Oct, 2021

  • 非神经模型也很重要：对神经指代表达生成系统的重新评估

    本文旨在在生成语言上考虑基于非神经网络模型的表现，以推广广义的自然语言生成技术，并在针对两个数据集的实验中发现，某些任务使用非神经网络模型能够比神经模型获得更好的性能。

    Mar, 2022

  • 通过定义生成可解释的词义表示：以语义变化分析为例

    利用自动生成的自然语言定义，将上下文单词用法作为可解释的词和词义表示。使用Flan-T5语言模型生成每个用法的定义，从用法簇中选择最典型的定义作为词义标签，可在语义变化分析中进行应用。此外，上下文定义在NLP中的单词语境语义相似性判断中优于令牌或用法句子嵌入，是一种新的有前途的词汇表示类型。

    May, 2023

  • MAGNIFICo: 评估大型语言模型在上下文学习能力方面对新的解释的泛化能力

    大型语言模型具有通过上下文学习新的解释能力，但在解释陌生词汇或同时构建多个新解释时需要进一步改进。通过MAGNIFICo评估框架的实验结果显示，LLMs对自然语言描述和长对话中的新解释具有令人惊讶的强大理解能力，同时也揭示了LLMs的语义偏好和长篇上下文中信息呈现的近期偏见的影响。

    Oct, 2023