Feb, 2023

关于词形信息在上下文词形还原中的作用

PDF
TL;DR本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的 UPOS 标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。
lemmatizationmorphological informationcontextual lemmatizersnlpfine-grained morphosyntactic information
发现论文，激发创造
  • 形态变化的语境化

    本文介绍了一种利用神经混合图模型构建并预测词形变化的方法，并将其与传统的形态学变化或表面实现进行了比较，证明了将语言学驱动的潜在变量纳入 NLP 模型的实用性。

    May, 2019

  • 利用形态信息增强深度神经网络

    通过将词汇学特征添加到 LSTM 和 BERT 模型中，我们比较了多种语言中命名实体识别、依赖解析和评论过滤任务的基线和改进模型表现，结果显示，根据所添加的特征的质量和任务的不同，这些特征对于 LSTM 的 NER 和 DP 任务表现提升效果较好，而不太适用于 CF 任务；对于 BERT，只有在高质量特征时才会对 DP 表现有所改善，而且相对于强大的多语言 BERT 模型，语言特异性 BERT 变体的改善程度较小。

    Nov, 2020

  • 基于语境的波兰语词形还原器

    本文介绍了基于 Google T5 模型的波兰词形还原器，通过在不同的语境长度上运行训练，最终实现了最佳的波兰语词形还原效果。

    Jul, 2022

  • 利用背景信息进行句子级词素切割

    通过将整个句子作为输入，我们将形态素分割任务重新定义为序列到序列问题，结果显示多语种模型在性能上优于单语种模型，尽管没有超过最先进性能，但与高资源语言相比展现出了可比较的效果，同时揭示了在低资源语言情境下的限制。

    Mar, 2024

  • 一种简单的联合模型，用于改善上下文神经词形还原

    本文介绍了一个简单的神经模型，用于词形还原和形态标记，可以达到 20 种语言的最新结果，并表明联合形态标记和词形还原特别有助于低资源词形还原和形态复杂性较高的语言。

    Apr, 2019

  • 应用词形归一化对 ELMo 在词义消歧中的影响：词形还原与否

    本文研究了在深度学习自然语言处理模型中是否需要使用基本形式单词进行词形还原。研究结果表明，在英语中使用基本形式单词进行词形还原并不必要，但在俄语等富有形态语言中，使用词形还原可以带来小幅且稳定的性能提升，尤其是在词义消歧任务中。

    Sep, 2019

  • 利用屈折表和原始文本进行上下文敏感神经词形还原的训练数据增强

    本文提出一种方法，使用来自 UniMorph 项目的屈折表和来自 Wikipedia 的原始文本示例来训练上下文敏感的词形归并器，以在低资源语言环境中提高效率和性能。

    Apr, 2019

  • 理解对资源有限的神经机器翻译中的词级语言标注的影响

    研究了词级语言标注对资源不足的神经机器翻译的影响，通过实验发现，当在源语言进行标注时，语法 - 语义描述标签在某些语言对中表现优于词性标签；但在目标语言进行标注时，词性标签在自动评估指标上始终优于语法 - 语义描述标签，尽管后者可改善输出的语法性。该研究提供了对此结果的详细分析。

    Jan, 2024

  • 形态学线索对词汇语义的影响

    本文介绍了一种利用派生词缀和词汇语义信息之间的固定对应关系自动获取词汇语义信息的方法。该方法的优点之一是，与其他仅依赖语言表层特征的方法相比，其必要的输入数据已经可以获取。

    Jun, 1996

  • 用于概率神经词嵌入的形态学先验

    通过将形态学信息融合到词向量中，构建了一个统一的概率框架，其中词嵌入是一个潜变量，并以形态学信息提供先验分布。此方法改进了内在词相似性评估，也在词性标注下游任务中提高了性能。

    Aug, 2016