May, 2023

使用 OpenCorpora 中的范式检索提高全文检索词形还原技术

PDF
TL;DR本篇论文提出一种革命性的方法，利用 OpenCorpora 数据集和定制的检索算法来放大全文搜索的词形还原。我们的主要目标是简化单词的原型或词形还原的提取，同时我们提出了一种紧凑的字典存储策略，大大提高了词形还原的速度和精度。
full-text searchlemmatizationopencorpora datasetdictionary storage strategyspeed and precision
发现论文，激发创造
  • 无监督形态学范式补全

    本文提出了无监督词形范式补全的任务，并介绍了一个通过编辑树检索、范式规模探测和屈折生成等步骤生成词态的系统，该系统在 14 个语言上得到了很好的性能。

    May, 2020

  • 基于语料库主题分类的专题应用检索改进

    使用语料库主题分类系统的插入式框架 ToTER，通过指导查询和文档的核心主题并利用它们的主题相关性来补充缺失的上下文，提高主题特定应用中文档检索的效果。

    Mar, 2024

  • 语料库结构、语言模型和即席信息检索

    本文提出了一种基于语言模型的信息检索算法框架的新方法，并将类似文档群的信息整合进去以提高检索效果；实验结果表明，即使是此新方法中的较简单算法也能优于标准语言模型方法，并且我们的新插值算法在所有测试语料库中均能显著提高精度和召回率表现。

    May, 2004

  • 范式发现问题

    该研究论文研究了使用未标注的句子学习词形变化系统的范例发现问题，并通过使用词嵌入和字符串相似性对单元和范例进行聚类的方法来处理该问题。

    May, 2020

  • 索马里语的词典和基于规则的词汇形态还原方法

    这篇论文首次开发了索马里语的文本词形归一化技术，为索马里语的自然语言处理任务构建了词典和基于规则的词形归一化系统，该系统在各种长度的文本上进行测试，取得了较高的准确率。

    Aug, 2023

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • 关于词形信息在上下文词形还原中的作用

    本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的 UPOS 标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。

    Feb, 2023

  • 派生形态的范式完成

    本研究应用神经序列到序列模型解决 NLP 中复杂词形派生问题，并介绍派生范式完成任务。基于优于非神经基准线 16.4% 的结果，我们的神经模型学会了各种派生模式。但是，由于派生性构词涉及语义、历史和词汇考虑，因此未来需要更多工作来实现和生成机制的性能平衡。

    Aug, 2017

  • 利用目标词元注释促进术语翻译

    该研究提出了一种源数据增强的机器翻译系统，用于术语集成，实验表明该方法在术语翻译时具有实用性和较高的准确性。

    Jan, 2021

  • 基于词典的形态学感知数据增强技术用于机器翻译低资源语种

    我们提出了一种依赖于词法 - 句法信息和双语词典以及少量种子并行数据来合成并行数据的策略，该方法在 14 种语言中（28 个英语 <->X 对）的实验中展示了性能的一致提升。

    Feb, 2024