next-token prediction | BriefGPT

关键词next-token prediction

搜索结果 - 7

探索深度神经网络如何学习语言结构的理论
通过下一个词预测需要多少数据来学习语言的结构？我们通过一个概率上下文无关文法 (PCFG) 生成的合成数据集进行了研究，该文法是表示自然语言树状结构的层次生成模型。我们在模型中通过分析确定了词 - 词之间的相关性，并显示它们可以用来构建文法
PDFa month ago
Transformer 模型在下一个 Token 预测中的上限和下限记忆容量
给定一个令牌序列，如单词，下一个令牌预测的任务是预测下一个令牌的条件概率分布。我们针对仅编码器的 transformer 模型的性质进行了研究，并证明了该模型可以插值下一个令牌分布的最大上下文序列的上下界，其中下界只需最小的参数数量即可实现
PDFa month ago
自注意力机制下的下一个标记预测机制
自我注意力机制通过梯度下降训练能够学习自动生成下一个标记符号的自动机，其中学习步骤分为硬检索和软组合，梯度下降隐式地发现强连接组件并选择高优先级组件，以加工序列数据。
PDF4 months ago
下一标记预测的隐性偏见
利用渐进式下降算法在 NTP 训练中获得最佳性能解决方案，研究了梯度下降方法在 NTP 训练中的偏向性和最优解相关性，并提出了进一步研究的方向，以更好地理解使用 NTP 进行训练的模型的优化、泛化和鲁棒性原则。
PDF4 months ago
GraphGPT：使用生成式预训练 Transformer 进行图学习
我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用
PDF6 months ago
言之有物：使用暂停标记训练语言模型
使用一个可学习的 “暂停” 标记和推迟提取模型输出的方法，我们在语言模型上执行训练和推理，并观察到模型在预训练和微调过程中实现了推理时间延迟的增益，这对各种推理、问答和基本理解任务都有积极的影响，进一步将延迟下一个标记预测的方法应用于各种应
PDF9 months ago
自回归下一个单词预测器是通用学习者
大型语言模型在逻辑和数学推理方面显示出令人瞩目的能力，使它们能够解决复杂的任务。本文提出了一个理论框架来研究自回归的下一个标记预测器。我们证明，即使是简单的模型，如线性的下一个标记预测器在 Chain-of-Thought（CoT）数据上训
PDF10 months ago