morphological analyzer | BriefGPT

关键词morphological analyzer

搜索结果 - 8

ACL脚本连续语言中不同的分词器在下游任务中的表现？：以日语为例的案例研究
本文旨在研究分词器对预训练语言模型在 scriptio continua 语言（如日语）下游性能的影响，结果表明对于任何类型的任务，使用 Byte-Pair-Encoding 或 Unigram 作为子词分割器都比 WordPiece 更佳
PDFa year ago
ACL回归模式：使用特征序列 Trie 进行高效的日本语形态分析
本研究使用最快的基于模式的 NLP 方法，以提高其精度，从而为日语提供简单而准确的形态分析器，该方法可以每秒处理超过 1,000,000 个句子在现代 CPU 上，而与学习为基础的基线相比呈现出相当的准确性。
PDFa year ago
乌兹别克词缀有限状态机用于词干提取
提出一种使用有限状态机的乌兹别克语形态分析器，通过去除词缀来找到词根，而不包括任何词汇，快速分析大量的文本。
PDF2 years ago
Mapuzugun 教育工具
该研究旨在支持母语 Mapuzugun 的复兴，提出了三种工具来支持 Mapuzugun 的教育活动。这些工具包括一个正字法探测器和转换器、一个形态分析器和一个非正式翻译器，在 Mapuzugun 学生中显示出良好的实验效果。
PDF2 years ago
语法性别如何影响语法性别标记语言中名词表征？
考虑语言中的文法性别现象，本文研究其对词的表征的影响，并针对这种影响使用 “morphological analyzer” 对训练词嵌入进行上下文中性操作，以有效消除这种影响，结果显示其具有良好的效果和鲁棒性。
PDF5 years ago
DEMorphy，德语语言形态结构分析器
DEMorphy 是一个基于德语词形字典构建的德语词形分析器，提供了德语变格后缀的猜测器，其使用 Python 实现，易于使用，适用于学术和商业目的，并带有相关文档。
PDF6 years ago
COLINGShamela：一个大规模历史阿拉伯语语料库
本文介绍一种收集和处理阿拉伯语历史语料库的方法，所得到的大规模语料库包括约 10 亿个单词，使用形态分析器进行处理，并检测出了平行段落并自动标注了年代。该语料库可用于数字人文学研究的实际应用。
PDF8 years ago
俄语和乌克兰语的形态分析器和生成器
pymorphy2 是一种针对俄语和乌克兰语的词形分析器和生成器，使用大型的 OpenCorpora 和 LanguageTool 数据库，开发了一组语言学动机的规则，以便分析词形和生成现实世界文档中出现的生僻词汇，具有现代技术水平，易于使
PDF9 years ago