next word prediction | BriefGPT

关键词next word prediction

搜索结果 - 5

通过从头开始训练领域知识来匹配领域专家
通过领域特定的自回归训练方法，在小型的 GPT-2 模型上训练神经科学文献，可以实现即使在小规模的语言模型上也能达到专家水平的性能表现。
PDF2 months ago
ACL预测下一个单词：人类在此任务中表现出的不确定性及语言模型
语言模型相对于人类生成的文本是否准确地表达语言变异性，以及 GPT2、BLOOM 和 ChatGPT 在从统计层面上评估这种能力时的失调问题和预期校准误差的失效问题。
PDF4 months ago
语言模型与脑部对齐：超越词级语义和预测
本文探讨使用众多的文本数据训练出来的预训练语言机器，对人脑语言理解的预测能力。研究发现，这两者之间的相似性是由下个词的预测机制引起的。作者的实验发现，对机器的语料库进行特定的自然文本刺激文本预测下个词，可以显著提高他们与大脑记录的对齐程度。
PDF2 years ago
联邦重构：部分本地化联邦学习
本文提出了联邦重构（Federated Reconstruction）方法，这是第一个适用于大规模交叉设备设置的局部联邦学习模型通用框架，可用于训练和推断，并在移动键盘应用中成功实现了基于本方法的联邦协同过滤。
PDF3 years ago
为下一词预测而预训练联邦文本模型
本研究采用转移学习的思想，将预训练的嵌入和整个模型预训练与联邦训练相结合，为基于 Stack Overflow post 的下一个词预测任务带来了显著提升，提供了更严谨的转移学习技术在联邦学习中的实验。
PDF4 years ago