lemmatization | BriefGPT - AI 论文速递

关键词lemmatization

搜索结果 - 23

eFontes. 中世纪拉丁文文本的词性标注与词形还原技术：跨文体调查
该研究介绍了 eFontes 模型用于中世纪拉丁语文本的自动语言标注，重点是词形还原、词性标注和形态特征确定。使用 Transformers 库，这些模型基于通用依存语料库和新开发的波兰中世纪拉丁语 eFontes 语料库进行训练。研究评估
PDF7 days ago
海德堡 - 波士顿 @ SIGTYP 2024 共享任务：使用字符感知分层变形器增强低资源语言分析
历史语言中的 NLP 社区所面临的主要挑战之一是其封闭语料库中有限的资源。本研究描述了我们参与 SIGTYP 2024 共享任务约束子任务的提交，重点关注 13 种历史语言的词性标注、形态标注和词形还原。我们采用了 Sun 等人（2023
PDFa month ago
EMNLP用 LEMMING 实现联合词形还原和词形标注
LEMMING 是一个模块化的对数线性模型，它同时建模了词形还原和标注，并支持任意全局特征的整合。它可通过带有金标准标签和词元注释的语料库进行训练，无需依赖形态学词典或解析器。LEMMING 在六种语言的基于令牌的统计词形还原中创造了新的最
PDFa month ago
当下词干化方法的比较：爱沙尼亚语的案例研究
本研究评估了三种不同的爱沙尼亚词形还原方法 —— 基于生成字符级模型、基于模式的单词级分类模型和基于规则的形态分析。根据我们的实验结果，一个明显较小的生成模型在所有基于 EstBERT 的基于模式的分类模型中一致表现更好。此外，我们观察到三
PDF2 months ago
COLING评估用于上下文词形还原的最短编辑脚本方法
通过研究多种语言的上下文词形还原系统，本文发现计算大小写和编辑操作可以改善该系统的性能，尤其对于具有高派生形态的语言。值得注意的是，多语言预训练语言模型在每个评估环节中始终优于特定语言的模型。
PDF3 months ago
BanLemma: 一个以词形构造依赖规则和词典的孟加拉语词形还原工具
本研究利用语言学规则和词典设计了一个专门用于孟加拉语的词形还原器，通过对大规模孟加拉语文本的分析，实现了在给定句子中基于单词词性分类的词形还原。词形还原器在经过训练的语言学家手动注释的测试数据集上取得了 96.36％的准确性，并在三个先前发
PDF8 months ago
索马里语的词典和基于规则的词汇形态还原方法
这篇论文首次开发了索马里语的文本词形归一化技术，为索马里语的自然语言处理任务构建了词典和基于规则的词形归一化系统，该系统在各种长度的文本上进行测试，取得了较高的准确率。
PDFa year ago
HuSpaCy 中的混合还原
本文提出了一种混合词形还原器，使用神经模型、字典和手工规则的混合架构，在广泛使用的匈牙利语数据集上获得了实验结果，并发表了三种 HuSpaCy 模型。
PDFa year ago
使用 OpenCorpora 中的范式检索提高全文检索词形还原技术
本篇论文提出一种革命性的方法，利用 OpenCorpora 数据集和定制的检索算法来放大全文搜索的词形还原。我们的主要目标是简化单词的原型或词形还原的提取，同时我们提出了一种紧凑的字典存储策略，大大提高了词形还原的速度和精度。
PDFa year ago
关于词形信息在上下文词形还原中的作用
本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码
PDFa year ago
一种基于有限状态机的乌兹别克语规则词形还原算法的开发
构建维吾尔语词形还原算法来识别单词的本义词，其中使用了词缀数据库和词性知识以及有限状态机来移除维吾尔语中的词缀。
PDF2 years ago
阿拉伯文词级可读性可视化助于文本简化
这篇论文介绍了一种适用于 Google 文档的阿拉伯语单词可读性可视化的插件，它包括一个连接到五级可读性词汇表和基于阿拉伯 WordNet 的替换建议的词形还原组件。该插件可用于评估文本的阅读难度和识别文本简化任务中的难词。我们公开提供我们
PDF2 years ago
基于语境的波兰语词形还原器
本文介绍了基于 Google T5 模型的波兰词形还原器，通过在不同的语境长度上运行训练，最终实现了最佳的波兰语词形还原效果。
PDF2 years ago
使用监督式机器学习与特征组合的 2021 年乌尔都语假新闻检测任务
本文介绍了参加 FIRE 2021 共享任务的系统描述：“乌尔都语中的虚假新闻检测”。研究目的在于自动识别乌尔都语中写的虚假新闻。我们的结果在比赛中排名第五，但是在比赛结果公布后，我们的结果得到了进一步改善。我们的其中一个模型在支持向量机（
PDF2 years ago
SIGMORPHON 2019 共享任务：语境中的形态分析和屈折的跨语言转移
SIGMORPHON 2019 共享任务关注跨语言转移和上下文形态学分析，研究传递学习和上下文词形还原在 66 种语言中的应用，同时在 100 种语言对中考察了词缀的转移，所有的提交中都具备了神经元件。
PDF5 years ago
应用词形归一化对 ELMo 在词义消歧中的影响：词形还原与否
本文研究了在深度学习自然语言处理模型中是否需要使用基本形式单词进行词形还原。研究结果表明，在英语中使用基本形式单词进行词形还原并不必要，但在俄语等富有形态语言中，使用词形还原可以带来小幅且稳定的性能提升，尤其是在词义消歧任务中。
PDF5 years ago
UDPipe 于 SIGMORPHON 2019: 上下文嵌入，形态类别规则化，语料库合并
我们在 SIGMORPHON2019 共享任务中对 UDPip2.0 进行修改，使用预训练的上下文化嵌入 (BERT) 作为网络的附加输入，使用单独的形态特征作为正则化，并合并了同一语言的选定语料库，在词形还原任务中，我们的系统的准确性达到
PDF5 years ago
ACLCMU-01 在 SIGMORPHON 2019 跨语言和语境形态共享任务中的表现
该论文探讨了一种层次化神经条件随机场模型，用于处理资源匮乏的语料库数据，通过多语言迁移训练提升词形分析和词形归并技术。
PDF5 years ago
ACL一种简单的联合模型，用于改善上下文神经词形还原
本文介绍了一个简单的神经模型，用于词形还原和形态标记，可以达到 20 种语言的最新结果，并表明联合形态标记和词形还原特别有助于低资源词形还原和形态复杂性较高的语言。
PDF5 years ago
ACL利用屈折表和原始文本进行上下文敏感神经词形还原的训练数据增强
本文提出一种方法，使用来自 UniMorph 项目的屈折表和来自 Wikipedia 的原始文本示例来训练上下文敏感的词形归并器，以在低资源语言环境中提高效率和性能。
PDF5 years ago