本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架,该框架通过多种连续提示规则将知识子图转化为自然语言提示,并在这些提示的基础上提出了两个新的知识感知无监督任务,实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。
Oct, 2022
通过 chain of thought prompting 方法,在大型语言模型中提供少量的思维链示例可以显著提高其在各类数学、常识和符号推理任务上的性能,甚至超过 fine-tuned GPT-3。
Jan, 2022
利用大规模预训练语言模型,通过迭代增强和定制提示来提升其在复杂任务中的性能。
Oct, 2023
本文介绍了 Synthetic prompting 方法,该方法利用少量手工示例来提示模型自行生成更多示例,并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法,并表明其优于现有提示技术。
Feb, 2023
该研究引入了一个使用提示将显性和隐性知识连接起来的 PEI 框架,以实现与人类阅读过程相符的多跳问题回答。实验结果表明,PEI 在 HotpotQA 上表现与最先进的模型相当。消融研究证实了我们的模型在链接和整合显性和隐性知识方面的有效性。
Feb, 2024
本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中,以推断潜在变量并选择合适的隐喻释义,从而改进了模型的模仿能力。
Sep, 2022
本文提出了一种新的连续提示方法,称为上下文调整,用于对预训练语言模型进行微调以进行自然语言生成,可以根据输入文本生成上下文化的提示,然后使用连续的反向提示来改进过程自然语言生成的过程。
探索了基于 LLMs 的多次运行串联(即 chaining)的可视化编程过程,引入一个交互式界面 PromptChainer 来支持用户构建各种机器学习应用的原型。
Mar, 2022
本论文提出一种基于链式推理的自动提问方法 Auto-CoT,通过采样具有多样性的问题并生成推理链来构建演示,在十项公共基准推理任务中,Auto-CoT 不断匹配或超越需要手动设计演示的 CoT 范例的性能。
通过使用迭代的引导选择,我们介绍了迭代链式思考(Iter-CoT)方法,该方法可以使大型语言模型(LLM)自主纠正错误,同时选择具有适度难度的挑战性问题作为样本,从而增强 LLM 对于不同难度的推理任务的泛化能力。实验结果表明 Iter-CoT 方法在 11 个数据集上展现出卓越的性能表现。
Apr, 2023