Mar, 2024

通过字符匹配实现标记对齐用于子词补全

PDF
TL;DR该论文研究了一种通过回溯和对齐机制来解决生成模型中的标记化问题，从而提高模型在处理部分输入时的性能。该方法对包括代码补全和文本自动完成在内的多种场景都有显著改善，同时只有轻微的时间成本增加。
generative modelstokenizationtext completiontoken alignmentpartial inputs
发现论文，激发创造
  • 受内存限制的自动完成中，小字符模型能与大词模型匹配

    本文研究的是低频用户提示模式或广泛提示的自动完成任务以及在受限内存下使用基于字符的语言模型降低整体模型大小的效果。研究证明，当控制模型大小时，字符模型的自动完成任务的精确匹配准确性与字模型相当。作者进一步尝试在字符模型中融入大型字模型的组成信息和表现转移的归纳偏差。

    Oct, 2022

  • 理解和减轻语言模型中的分词偏差

    通过提出一种新颖的算法，我们可以从单词化数据中得到无偏估计，而不需要调整模型。通过 Markov 链设置，我们从标记化语言模型中精准恢复了转换概率。

    Jun, 2024

  • 文本对齐是一种用于大规模自然语言处理任务的高效统一模型

    提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。

    Jul, 2023

  • 学习您的标记：用于语言建模的单词汇总分词

    这篇论文通过学习词边界将字节 / 字符聚合成词表示，并在主要语言模型中解码个别字符 / 字节，结果表明这种分词方式在代表下一个词的预测模型测试中表现得比子词和字节 / 字符模型更好，特别是在稀有词方面达到了 30 倍的效果提升。

    Oct, 2023

  • 跨模态调整多模式令牌级提示对齐

    利用最优传输的多模式令牌级调优框架，发现了多种视觉概念，实现了精确的语义对齐，优于传统方法。

    Sep, 2023

  • 消除子词对字符级文本填充的增强

    我们引入了 FIM-SE 方法，通过使用一种基于行级格式的方式避免在推理过程中预测任何子标记，从而解决了字符级填充任务。此外，我们还引入了两个特殊标记来表示其余不完整行，从而增强了生成的指导。大量实验证明了我们提出的方法优于以前的方法，提供了显著的优势。

    May, 2024

  • 生成模型在抽取式 NLP 任务中的分词一致性至关重要

    通常被忽略的词汇划分一致性问题影响了文本生成模型在抽取任务上的表现，提出了解决方法并应用于抽取问答任务，通过实验证明了这个方法可以提升模型的性能和稳定性。

    Dec, 2022

  • 使用远程监督的部分对齐数据到文本生成

    本文提出一种新型半对齐数据生成器以更好地利用从 Wikipedia 至 Wikidata 等来源的自动注释数据，并进行了一系列实验以验证其效果。

    Oct, 2020

  • 通过另类空格处理提高 Token 切分效果

    本研究以 BPE 和 Unigram 算法为基础，通过将空格始终视为单独的标记，提出了一种新的分词方法，以改善复杂词汇的处理效果，并在下游 NLP 任务中取得了良好的表现。

    Apr, 2022

  • 分词不足：分词的诅咒

    大型语言模型存在分词问题，导致对错别字、长度差异和标记内部结构的忽视。本研究通过探究复杂问题解决、标记结构探测和对错别字的抵抗力来系统地调查这些挑战及其对大型语言模型的影响，并展示模型参数缩放与子词规范化对解决这些问题的作用。

    Jun, 2024