next token prediction | BriefGPT

关键词next token prediction

搜索结果 - 7

大型語言模型中線性表示的起源
高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。
PDF4 months ago
Transformer 模型在上下文自回归学习中的性能表现
基于 Transformer 模型的研究探讨其训练和预测过程中生成下一个 token 的方式，同时研究了正交矩阵和位置编码对于模型性能的影响。
PDF5 months ago
迭代分段仿射逼近（IPA）用于语言建模
本研究利用一阶泰勒展开对一般函数进行近似，引入迭代和分段建模提出了 IPA 算法并应用于语言建模，通过与 Transformers 进行比较，将 IPA 算法在小的序列长度下的交叉熵损失的下一个标记预测任务中表现出了与 Transforme
PDFa year ago
扫描与截屏：理解单层 Transformer 的训练动态和令牌组成
本文对一层 Transformer 进行了标记和区分性扫描，流程逐渐集中于某些关键词，然后通过控制两层之间的学习速率，达到了几乎固定的标记组合，验证了该算法的动态性。
PDFa year ago
EMNLP关于双向性在语言模型预训练中的作用
本文探讨了语言模型预训练的双向性作为不同方法的关键因素，并提出了一个新的框架，能够控制双向上下文和双向注意力等两种表现形式。研究表明，最佳配置因应用而异，但大规模双向模型的作用值得探究。
PDF2 years ago
EMNLP预训练语言模型中的潜在命名偏差
本文针对预训练语言模型 (LMs) 可能在下游模型中保留其训练语料库中的偏差进行了研究，重点关注给定名称（例如 Donald）表示中出现的问题，可能会因不同的语料库与特定实体相关，如后续标记预测（例如 Trump），通过阅读理解探针演示了名
PDF4 years ago
通过将树结构输入 Transformer 进行代码预测
该研究使用 Transformer 架构，通过让其了解代码的句法结构，提高了预测代码的准确性，在标准的 Python 数据集和 Facebook 内部 Python 语料库上进行了全面的实验评估。
PDF4 years ago