Feb, 2024

多词标记化用于序列压缩

HTML
PDF
TL;DR我们提出了一种名为MWT的多词标记器，它通过将频繁出现的多词表达式表示为单个标记，从而超越词边界。MWT产生更紧凑高效的标记化，从而提供两个好处：（1）在固定序列长度和预算的情况下，提高性能，因为能够更全面地覆盖输入数据；（2）通过减少序列长度，使推理速度更快、负载更轻，而性能几乎不受影响。我们的结果表明，MWT在较短的序列长度上更加稳健，从而通过早期序列截断实现主要的加速。
发现论文，激发创造
  • 大型语言模型的模型压缩综述

    该论文提供了针对大型语言模型的模型压缩技术的综述调查，涵盖量化、修剪、知识蒸馏等各种方法，并探讨了压缩后的大型语言模型的基准策略和评估指标，旨在促进效率和实际应用的提升，为领域的未来发展奠定了基础。

    Aug, 2023

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节/字符聚合成词表示，并在主要语言模型中解码个别字符/字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节/字符模型更好，特别是在稀有词方面达到了30倍的效果提升。

    Oct, 2023

  • 拆解标记化: 评估文本压缩及其与模型性能的相关性

    通过变化训练数据的数量，我们研究了BPE tokenizers的压缩能力对预训练语言模型下游性能的影响，我们发现压缩能力与模型性能存在相关性，因此构建压缩效果更好的tokenizer是一个有前景的研究方向。

    Mar, 2024

  • 通过多令牌预测实现更好、更快的大型语言模型

    我们建议通过训练语言模型来预测多个未来标记，以提高样本利用效率，并对其下游能力进行改进，特别是在多词预测作为辅助训练任务时，在代码和自然语言生成模型方面获得了显著的改善。

    Apr, 2024

  • ReTok：替换分词器以增强大语言模型的表示效率

    本研究解决了大语言模型中分词器效率不足的问题，提出了一种通过替换分词器来提升模型表示和处理效率的新方法。实验结果显示，该方法在保证模型性能的同时，显著提高了长文本的解码速度，对模型的应用具有重要影响。

    Oct, 2024

  • 基于有限状态传导的分词方法

    本文研究了分词在现代神经语言模型中的重要性，提出了一个有限状态传导框架，以有效编码正规语言的所有可能分词方案。研究表明，流行的分词方案如字节对编码（BPE）和最大匹配（WordPiece）可以融入此框架中，进而实现引导生成中模式的精准匹配，这为未来的模型输出提供了新的约束方法。

    Oct, 2024

  • MrT5：用于高效字节级语言模型的动态标记合并

    该研究解决了现有子词标记化模型在面对拼写错误和多语言的一致性压缩率等问题的局限性。通过引入动态标记删除机制，MrT5在编码器中能够有效缩短输入序列长度，同时保持关键上下文信息，从而提高推理效率。实验表明，MrT5在不同语言上表现出色，相较于旧有模型在性能影响较小的情况下，序列长度最小可缩减80%。

    Oct, 2024

  • MultiTok：适应LZW压缩的可变长度分词方法用于高效的大型语言模型

    本研究解决了大型语言模型训练过程中的资源浪费问题，提出了一种新的分词方法MultiTok，灵感来自于通用的LZW数据压缩。通过将重复短语压缩为多词令牌，MultiTok能够在保持相似准确性的同时，显著提高训练效率，实现了接近2.5倍的训练速度和超过30%的数据减少。

    Oct, 2024

  • 通过令牌翻译调整语言模型

    本研究解决了现代大型语言模型在新目标领域中使用固定标记器导致压缩效果差、推理成本高及语义对齐下降的问题。我们提出的稀疏Sinkhorn令牌翻译方法（S2T2）为目标领域训练定制的标记器，并学习源标记与目标标记之间的翻译，显著提高了生物蛋白序列的困惑度和压缩效果。同时，S2T2在小型模型上学习到的标记翻译可以直接应用于大型模型，以更低成本实现高效的迁移。

    Nov, 2024

  • 通过标记翻译调整语言模型

    该研究解决了在新的目标领域中应用固定标记器导致的文本压缩效果差和推理成本高的问题。提出的稀疏Sinkhorn标记翻译（S2T2）方法，通过为目标领域训练量身定制的标记器，实现了源标记与目标标记之间的有效转换，显著提高了域外蛋白质序列的困惑度和压缩效果，且学习到的标记翻译可以有效迁移到更大的模型，降低成本。

    Nov, 2024