BriefGPT.xyz
Ask
alpha
关键词
pretrained lms
搜索结果 - 4
Time-FFM: 面向时间序列预测的基于 LM 增强的联邦基础模型
提出了一种基于预训练模型的联邦时间序列预测模型 (Time-FFM)，通过将时间序列转化为文本标记的形式来进行时间序列推理，并采用个性化联邦训练策略，取得了比现有方法更好的性能，有望实现有效的少样本和零样本预测。
PDF
a month ago
设定时钟：预训练语言模型的时间对齐
通过对预训练语言模型进行时间对齐，本研究探索了将内在知识与目标时间对齐的方法，并发现对年份为 2022 的 LLaMa2 模型进行对齐可以将其性能相对提高 62%，此外，该研究还发现对历史时间进行对齐同样是可行的，可以使模型在 2010 年
→
PDF
4 months ago
ACL
梯度上升后训练增强了语言模型的泛化能力
本文发现使用梯度上升后训练预训练语言模型可以增强其零样本泛化能力，特别是使用 Gradient Ascent Post-training 方法可以让语言模型在 12 个不同的 NLP 任务上达到与 2-3 倍大的模型相媲美的水平，并且可以提
→
PDF
a year ago
恐怕语言模型未对歧义建模
本论文提出了一个基于语言学家注释的语言歧义数据集，并测试了预训练的语言模型在识别和分离歧义上的表现。结果表明，这是一个极具挑战性的任务，现有的模型正确率仅为 32％，本文挑战学术界重新认识语言歧义在自然语言处理中的重要性。同时，本文还展示了
→
PDF
a year ago
Prev
Next