ACLJun, 2023

你需要在可能的 tokenization 上做边缘化吗？

PDF
TL;DR本文研究自回归语言模型中计算字符序列概率的方法，提出了一种基于重要性采样的算法估计边缘概率，并在一系列尖端模型和数据集上进行比较，结果表明在大多数情况下，对边缘化的忽略导致的对数似然差异小于 0.5％，但对于长且复杂的数据则更加明显。
autoregressive language modelstoken sequencesprobabilitymarginalizationimportance-sampling-based algorithm
发现论文，激发创造
  • 基于分词边际概率评估语言模型

    本文研究神经语言模型的 tokenization 对模型性能评估的作用，并提出用边缘似然进行评估。在使用采样的不同估算器比较后，发现边缘困惑度可以更好地反应模型性能，特别是在领域外数据中能表现出更好的鲁棒性。此外，通过测量 tokeniser 信息熵，结果还显示，边缘困惑度与 tokeniser 不确定性之间存在联系。最后，本文讨论了研究结果对语言模型训练和评估的一些影响。

    Sep, 2021

  • 理解和减轻语言模型中的分词偏差

    通过提出一种新颖的算法，我们可以从单词化数据中得到无偏估计，而不需要调整模型。通过 Markov 链设置，我们从标记化语言模型中精准恢复了转换概率。

    Jun, 2024

  • 计算词语的概率

    正确计算字词概率的方法及其对句子理解和词汇优化分析的影响。

    Jun, 2024

  • 评估神经语言模型中的分布扭曲

    我们发现，LSTM 和 Transformer 语言模型系统地低估了来自目标语言的序列的概率，并且对于不太可能出现的序列更为严重，尽管使用更多的训练数据减轻了这种倾向，但这种低估行为还是存在，并且在目标分布熵较低时加剧了这种情况，并且找到了导致这种概率差距的原因在于语言模型往往会高估不规范序列的概率。

    Mar, 2022

  • 通过输入边际化解释自然语言处理模型

    本研究提出了一种解决现有解释方法所引发的超出分布问题的方法，其通过将每个标记边缘化来解释情感分析和自然语言推理等 NLP 模型的预测结果。

    Oct, 2020

  • 关于 LLMs 中的分词理论

    通过研究变压器在简单数据生成过程上的行为，我们探讨了词汇标记的理论视角，发现词汇标记对于变压器模型的训练是必要的，并验证了合适的词汇标记可以使变压器模型在学习 k 阶马尔可夫源的概率时达到近乎最优的结果。

    Apr, 2024

  • 一个更好的掩码语言模型评分方法

    该论文提出了一种适用于遮蔽语言模型的评估方法，该方法通过遮蔽目标词汇和目标词汇右侧的所有词汇来计算伪对数似然分数，并表明该方法优于原始的伪对数似然方法和一种遮蔽单词内词汇的伪对数似然方法，并且选择适当的评分指标对于评估一个语言模型的性能很重要。

    May, 2023

  • 自回归语言模型隐藏状态的令牌分解分析模型预测

    本研究提出了对于近现代 Transformer 架构的自回归语言模型的一种准确的每个初始输入 token 的线性分解，并使用其定义概率分布，以分离出特定的输入 token 对于后续单词序列的影响；回归实验表明，基于 Transformer 的语言模型主要依赖于搭配的联想，其次是基于语言学素材的综合推断，例如句法依赖关系和指代关系，以确定下一个单词的概率。

    May, 2023

  • 关于概率序列模型的高效边缘化

    使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

    Mar, 2024

  • 自回归模型及其替代方案的局限性

    本论文研究了自回归语言模型的计算复杂度问题，并提出在自回归模型无法处理概率计算困难的问题时，采用能量模型和潜变量自回归模型等替代方案。

    Oct, 2020