Mar, 2024

不同的分词方法在西班牙语数字协议中的性能相当

PDF
TL;DR语言模型标记化与性能之间的关系是一个开放的研究领域。我们研究了不同标记化方案如何影响西班牙语复数的数一致性。我们发现，形态对齐标记化与其他标记化方案的表现相似，即使在对训练过程中不会进行这种标记化的单词人工引导下。我们还进行了探索性分析，显示了不同复数标记化的语言模型嵌入在嵌入空间中具有类似的分布，最大化区分单数名词和复数名词的嵌入轴线。我们的结果表明，形态对齐标记化是一种可行的标记化方法，现有模型已经对一些形态模式进行了泛化。然而，我们的结果表明形态标记化并不是性能的严格要求。
发现论文，激发创造
  • Tokenization 计数: Tokenization 对前沿 LLM 模型中的算术的影响

    数字分词选择对算术任务模型效果产生显著影响；使用从右到左的分词方式能够明显提升性能，并显示出模型计算具有系统性；针对左到右分词方向模型的错误模式进行了深入分析，发现模型能够轻松转换分词方式

    Feb, 2024

  • 多语言语言建模中的分词影响：评估跨语言词汇分配和重叠

    本文提出新的标准以评估子词符号化器中的词汇表示质量和词汇重叠度，并发现跨语言单词表的重叠实际上可能对某些下游任务（如 POS、依赖树标记）产生负面影响，而在命名实体识别和句子级任务（如跨语言检索、NLI）中分享词汇表是有益的。此外，本文还观察到多语种语言模型中特定语言标记的覆盖范围显著影响单词级任务。因此，我们为未来的模型开发人员提供了详细的指导，以选择最适合他们特定应用程序的符号化器。

    May, 2023

  • 分词对神经机器翻译的影响程度如何？

    对五种分词器在十种语言对上的实验表明，Tokenization 对神经机器翻译的最终翻译质量产生重大影响，不同语种需要选择最佳的分词器来提高翻译质量。

    Dec, 2018

  • 如何通过操作分词来提高跨语言转移能力？对非规范化语言进行词性标注研究

    研究 finetuning 预训练语言模型（PLMs）的挑战在于当在未预先训练的数据中出现前所未见的语言变化时，它们的分词器可能变得脆弱，导致在性能上下降，提出了一种在七种语言上用不同的方式衡量的调整标记方法，结果表明源数据和目标数据中单词拆分的比例差异（拆分单词比差异）是目标数据上模型表现的最强预测因素。

    Apr, 2023

  • 分析子词切分的认知可信度

    对比了三种分词算法在多种语言和词汇量上，发现 UnigramLM 算法在分词行为上的认知合理性较低，且派生形态的覆盖率较低。

    Oct, 2023

  • 是否对文本进行标记化：跨语言转移的文本表示的比较研究

    选择一个合适的分词方案通常是低资源跨语言转移的瓶颈。为了理解文本表示选择的后续影响，我们对具有不同文本表示模式的语言模型进行了比较分析，包括 2 个基于分词的模型（BERT，mBERT）、一个基于图像的模型（PIXEL）和一个基于字符级别的模型（CANINE）。通过提出的评分语言系数（LQ），我们在 19 种源语言和 133 种目标语言上执行了涵盖 POS 标记、依赖解析和 NER 的实验证明了基于图像的模型在语言密切相关且具有相似视觉脚本的情况下，在跨语言转移中表现出色。然而，在偏向于词义（POS，NER）的任务中，基于分词的模型表现优越。此外，在强依赖于词汇关系的依赖解析任务中，具有字符级别关注的模型胜过其他模型。最后，根据我们的发现，我们提出了一个基于我们的研究成果的建议方案，以指导根据任务和语言要求进行模型选择。

    Oct, 2023

  • 数论与语言学结合：使用 2 进制度量模拟跨 1497 种语言的名词复数形式

    使用 p-adic 度量作为线性回归问题的简单机器学习模型，在印欧语系、南岛语系、新几内亚翻译语、汉藏语系、尼洛撒哈拉语系、奥托梅安格语系和大西洋刚果语系等语系上取得比欧几里得空间回归模型更好的性能，但目前尚无足够证据支持模拟不同名词词形变化为 P-adic 邻域，即使在印欧语言中也是如此。

    Oct, 2022

  • 跨语言低资源形态分割中基于数据驱动的模型泛化性研究

    该研究旨在通过使用多种语言的数据，比较不同参数设置下的模型表现，从而证明模型通用性取决于数据集的特征而不只是数据集的大小。

    Jan, 2022

  • 脚本连续语言中不同的分词器在下游任务中的表现？：以日语为例的案例研究

    本文旨在研究分词器对预训练语言模型在 scriptio continua 语言（如日语）下游性能的影响，结果表明对于任何类型的任务，使用 Byte-Pair-Encoding 或 Unigram 作为子词分割器都比 WordPiece 更佳，并且每个下游任务都有一个不同的最佳形态分析器。

    Jun, 2023

  • 引入音节分词技术用于低资源语言：以斯瓦希里语为例研究

    我们提出了一种音节分词器，并采用实验为中心的方法验证所提出的分词器在斯瓦希里语中的有效性。我们使用 GPT2 进行文本生成实验，结果证明所提出的音节分词器能够有效地表示斯瓦希里语。

    Mar, 2024