Apr, 2024

FastSpell:LangId 魔法拼写

TL;DR本文介绍了 FastSpell,这是一种语言识别工具,它结合了 fastText 和 Hunspell,并提供了细化的第二意见,以便在决定将哪种语言分配给一段文本之前使用。我们描述了 FastSpell 算法的工作原理和配置方法,并在开发 FastSpell 过程中对一些常用语言识别工具进行了评估。我们展示了 FastSpell 的用途不仅在于提高对类似语言的识别,还在于识别其他工具忽略的新语言。