next-word prediction | BriefGPT

关键词next-word prediction

搜索结果 - 7

大型语言模型隐式学习将神经句子轨迹纠正为自然语言的预测性表示
用于预测的自回归变换器的预测表示通过逐渐变得更加直线化来实现更好的语言建模性能，并与句子的惊异程度之间存在一致的关系。
PDF8 months ago
人类与语言模型在预测重复文本时的差异
通过研究语言模型在下一个单词预测任务中的表现与人类行为模式的比较，发现人类与 GPT-2 语言模型在文本展现初期表现强相关，随着记忆（或背景学习）的作用逐渐发挥，二者的表现迅速分歧，研究发现这种分歧的原因是特定的中间层注意力头部，为此通过在
PDF9 months ago
文本对齐是一种用于大规模自然语言处理任务的高效统一模型
提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。
PDFa year ago
神经语言模型为何能解决下一个单词预测？数学角度分析
本文研究一类可以用于模型英语句子的形式语言，证明神经语言模型可以在此背景下零误差地解决下一个单词预测任务，强调了嵌入层和完全连接部件在神经语言模型中的不同作用。
PDFa year ago
最近邻语言模型为什么有效？
本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的
PDFa year ago
语言模型作为代理模型
语言模型仅通过文本训练，但仍然可以推断和表示产生语境的人的代理人属性，包括细粒度的交际意图和抽象的信仰和目标，并被用于构建通信和行为系统。
PDF2 years ago
无需记忆用户数据的生产语言模型训练
本文利用差分隐私联邦平均算法，首次呈现了可部署在生产神经网络中的、隐私保护的联邦学习模型，用于在移动设备上进行用户级别的下一个词语预测。
PDF4 years ago