Oct, 2023

分析子词切分的认知可信度

TL;DR对比了三种分词算法在多种语言和词汇量上,发现UnigramLM算法在分词行为上的认知合理性较低,且派生形态的覆盖率较低。