大型语言模型的时间符号化知识获取
提出了一种通过直接在 LLM 的输入中添加知识以增强其内部存储的知识的方法,称为 KAPING,通过在知识图上检索相关事实来改善零 - shot 闭书问答任务性能,经验证跨多个大小不同的 LLM,基于事实的知识增强方法相对于相关零 - shot 基线的平均表现提高达 48%。
Jun, 2023
本文提出了一种基于生成式语言模型的知识图谱生成方法,通过迭代提示和零样本学习等策略解决了知识图谱构建中的一些核心问题,具有可扩展性和广泛适应性。
Jul, 2023
使用 GPT-3 模型分析得出少量样例引导更接近于已学习的任务,本文探讨使用自然语言编程来优化引导,提出元引导概念后能够生成更多的任务自然语言引导,展望这些方法如何应用于实践应用。
Feb, 2021
本文提出了一种基于预训练语言模型的 TKGC 模型 (PPT),通过将时间戳之间的间隔转换为不同的提示来提取暗示的语义信息以形成连贯的句子,并使用蒙版策略将 TKGC 任务转换为蒙版标记预测任务,有效地将时间知识图中的信息整合到语言模型中,具有较高的竞争力。
May, 2023
本文提出了一种名为 ProP 的方法,它利用 GPT-3 这个大型语言模型进行知识库构建任务,结合多种提示技巧,结果表明手动提示的重要性、变长回答集的有效用处以及实体别名字典的效用等,从而获得了较高的预测质量。
Aug, 2022
本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架,该框架通过多种连续提示规则将知识子图转化为自然语言提示,并在这些提示的基础上提出了两个新的知识感知无监督任务,实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。
Oct, 2022
通过提出多维任务提示学习方法(MTPrompt),将更多的任务相关信息嵌入提示中,以激发大型语言模型中嵌入的知识,从而实现在少样本和五个不同数据集上取得最佳结果,并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。
Dec, 2023
通过 Prompt2Model 方法,可以使用少量的提示,训练出性能优异、体积小 700 倍的特定目的模型,用于自然语言处理任务。
Aug, 2023
在计算社会科学分类任务中,评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果,并研究了各种提示策略的影响。发现在零次设置下,当前 LLMs 无法与较小的经过微调的基线变压器模型(如 BERT)的性能匹配。此外,发现不同的提示策略可以显着影响分类准确性,准确性和 F1 分数的差异超过 10%。
May, 2023