Jun, 2024

Vaporetto：基于改进的逐点线性分类的高效日语分词

PDF
TL;DR本文提出了一种改进日语分词运行效率的方法，基于点对点线性分类（PLC）框架，通过将整个分词过程化简为一系列线性分类问题，通过利用 PLC 框架和任务定义的特点来优化分词，包括通过组合多个分类为基于数组的操作，通过内存优化的自动机实现高效的特征查找，以及三种正交的预处理方法用于减少实际得分计算，从而使得分词速度比当前基于相同模型的方法提高 5.7 倍而不降低分词准确性。
tokenizationruntime efficiencylinear classificationplc frameworkpre-processing methods
发现论文，激发创造
  • 脚本连续语言中不同的分词器在下游任务中的表现？：以日语为例的案例研究

    本文旨在研究分词器对预训练语言模型在 scriptio continua 语言（如日语）下游性能的影响，结果表明对于任何类型的任务，使用 Byte-Pair-Encoding 或 Unigram 作为子词分割器都比 WordPiece 更佳，并且每个下游任务都有一个不同的最佳形态分析器。

    Jun, 2023

  • 基于词汇表限制的下游任务导向神经分词器优化作为后处理

    本文提出了一种优化已训练后的下游模型性能的分词方法，该方法通过限制词汇量并训练一个生成相应分词结果的分词器，达到更低的下游模型损失值，比现有方法在各项任务中都表现更佳。其中提出的基于 BiLSTM 的分词器能够比现有非神经网络分词方法更好地捕捉上下文信息。

    Apr, 2023

  • 联合优化标记化和下游模型

    本文提出了一种优化分词器和模型以找到适当分词的新方法，该方法可用于各种 NLP 任务，包括后处理和多种语言翻译。实验结果表明，该方法通过确定适当的分词方法可以提高性能。

    May, 2021

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 如何通过操作分词来提高跨语言转移能力？对非规范化语言进行词性标注研究

    研究 finetuning 预训练语言模型（PLMs）的挑战在于当在未预先训练的数据中出现前所未见的语言变化时，它们的分词器可能变得脆弱，导致在性能上下降，提出了一种在七种语言上用不同的方式衡量的调整标记方法，结果表明源数据和目标数据中单词拆分的比例差异（拆分单词比差异）是目标数据上模型表现的最强预测因素。

    Apr, 2023

  • 利用编辑操作的端到端神经句子简化

    通过句子级和标记级损失权重，使用自然语言处理模型对生物医学文本进行自动简化，以实现更接近人工注释者创建的简化文本的编辑距离，语言简约度和编辑数量。

    Nov, 2023

  • 因式化子词编码的分词

    本文提出一种新的标记方法，使用 VQ-VAE 模型将子词分解为离散三元组，结果表明所提出的 Factorizer 标记方法在语言建模和形态句法任务方面比常用的字节对编码（BPE）标记算法更为适合和稳健。

    Jun, 2023

  • 用于高效语言模型微调的 NTK - 逼近 MLP 融合

    通过使用神经切向核（NTK）逼近多层感知器模块（MLP）的预训练语言模型（PLM），提出了一种轻量级 PLM 压缩方法，通过重新考虑 MLP 作为子 MLP 集合并将其聚类为给定数量的重心，进而恢复为压缩的 MLP，惊人地显示出良好逼近原始 PLM 的 NTK。

    Jul, 2023

  • 面向多模态语言模型中的标记化语义等价性

    提出了一种新颖的动态语义等价视觉标记器（SeTok）来解决现有视觉标记器的问题，该标记器通过动态聚类算法将视觉特征分组为语义单元，灵活确定标记数目。由此产生的视觉标记能够有效地保持语义完整性，并捕捉低频和高频视觉特征。所提出的具备 SeTok 的多模态大型语言模型（Setokim）在各种任务中显着展现了卓越的性能，如我们的实验结果所证明。

    Jun, 2024

  • Vcc: 通过优先考虑重要标记来将 Transformer 扩展到 128K 标记或更多

    本文提出了一种基于 VIP-Token 的压缩方案，能够显著减少 Transformer 模型对 n 的复杂度依赖，大大提高了超长序列的处理效率，并在多个任务上表现出了优秀的性能和扩展性。

    May, 2023