prior context | BriefGPT - AI 论文速递

关键词prior context

搜索结果 - 4

NeBuLa: 一个基于话语的 Minecraft 建筑师
将先前的上下文和非语言环境融入对话中，可改进语言到行动组件，本文展示了通过微调 LLM 来预测基于先前环境的行动，在 Jayannavar 等人 (2020) 任务上，我们的模型 NeBuLa 相比基准线将净行动 F1 分数提升了一倍。我们
PDF10 days ago
利用多轮互动增强上下文的越狱攻击
大型语言模型对越狱攻击很容易受到攻击，本研究提出了一种基于上下文互动的攻击形式，通过操作模型的回应引导其透露有害信息。在四个不同的大型语言模型上进行实验证明了该攻击的有效性，并且该攻击可以在不同大型语言模型之间转移。
PDF5 months ago
神经语言模型中近似短期记忆的特征化
该研究考察了语言模型在处理文本时是否能够检索先前出现的确切单词，并发现 transformers 模型可以从第一次出现的名词清单中提取词语的身份和排序，而 LSTM 模型则更加侧重于先前单词的语义要点，以及其与列表中其他单词的关系。
PDF2 years ago
ACL近在眼前，远在天边：神经语言模型如何利用上下文
本研究通过切片研究分析，探讨了神经语言模型如何利用其先前的语境。结果显示，模型能有效地利用大约 200 个标记的语境，但对远古语境的词序并不敏感，而是将其建模为一个粗糙的语义领域或主题，同时这项研究还为基于缓存的模型的最近的成功提供了启示。
PDF6 years ago