Apr, 2024

当下词干化方法的比较：爱沙尼亚语的案例研究

PDF
TL;DR本研究评估了三种不同的爱沙尼亚词形还原方法 —— 基于生成字符级模型、基于模式的单词级分类模型和基于规则的形态分析。根据我们的实验结果，一个明显较小的生成模型在所有基于 EstBERT 的基于模式的分类模型中一致表现更好。此外，我们观察到三种模型所产生的错误之间存在相对较小的重叠，表明使用不同方法的集成可能会带来改进。
lemmatizationestoniangenerative modelpattern-based classification modelensemble
发现论文，激发创造
  • 索马里语的词典和基于规则的词汇形态还原方法

    这篇论文首次开发了索马里语的文本词形归一化技术，为索马里语的自然语言处理任务构建了词典和基于规则的词形归一化系统，该系统在各种长度的文本上进行测试，取得了较高的准确率。

    Aug, 2023

  • 纯字符级神经机器翻译的理解：以从芬兰语到英语的翻译为例

    本文探讨了纯字符级模型在芬兰语到英语机器翻译中的效果，并证明了字符序列中不同位置的字符在学习语言知识方面扮演着不同的角色。通过实验证明，单头的基于字级别的注意力机制会导致 BLEU 分数下降 1.2 分。

    Nov, 2020

  • 爱沙尼亚文本的自动修正：项目 EKTB25 的最终报告

    该研究项目旨在为爱沙尼亚语开发拼写和语法纠错工具，主要挑战是缺乏可用的纠错数据。通过注释更多的纠错数据、转移学习和与其他方法和模型进行比较，我们开发的方法和模型在纠错效果上超过了 GPT4，并提出了使用开源解决方案实现 GPT4 和其他主要语言模型的想法。

    Feb, 2024

  • 评估基于 Transformer 的多语言文本分类

    研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020

  • HuSpaCy 中的混合还原

    本文提出了一种混合词形还原器，使用神经模型、字典和手工规则的混合架构，在广泛使用的匈牙利语数据集上获得了实验结果，并发表了三种 HuSpaCy 模型。

    Jun, 2023

  • 形态学屈折的最小监督

    该研究使用少量标记的数据引导标注词形变化，利用不同类型的规律，通过类比词标记和距离对词配对，证明了手工标记许多示例可能是不必要的。

    Apr, 2021

  • 基于规则的形态学变化改善神经术语翻译

    论文提出了一种模块化框架，可以用来在神经机器翻译中灵活地应用语言学知识和不同类型的神经机器翻译模型，特别是设计了用于领域适应和低资源机器翻译设置的英德医疗和英立新闻测试套件，结果表明，我们的基于规则的屈折模块比神经模块更准确地引入了引文限制，并且在低成本的训练下优于现有的端到端方法。

    Sep, 2021

  • 关于词形信息在上下文词形还原中的作用

    本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的 UPOS 标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。

    Feb, 2023

  • 用 LEMMING 实现联合词形还原和词形标注

    LEMMING 是一个模块化的对数线性模型，它同时建模了词形还原和标注，并支持任意全局特征的整合。它可通过带有金标准标签和词元注释的语料库进行训练，无需依赖形态学词典或解析器。LEMMING 在六种语言的基于令牌的统计词形还原中创造了新的最先进表现；例如，对于捷克语的词形还原，我们将错误率从 4.05 降低了 60%，至 1.58。我们还提供实证证据表明，联合建模词法标记和词元对彼此是有益的。

    May, 2024

  • 面向多语言神经翻译的同源词意感知形态分割

    Aalto 大学使用基于 Transformer 模型的系统，通过引入跨语言的 Cognate Morfessor 来改进英语到芬兰语和爱沙尼亚语翻译的一致性，尤其是对于爱沙尼亚语这种资源相对较少的语言，同时在 WMT18 新闻翻译中取得了好的结果。

    Aug, 2018