提出了分解提示法(Decomposed Prompting)的方法,通过将复杂任务分解成简单的子任务来解决复杂任务,并且可以针对每个子任务优化其专用提示,进一步分解复杂任务并取得更好的性能,特别是在符号推理任务和多步推理任务中。
Oct, 2022
通过选择相关任务的可用数据源,将复杂问题分解为简单问题或生成逐步推理的依据,并为选择示例提出自动的不确定性感知的范例选择方法,ICAT 在不涉及任何模型训练的情况下表现出优于现有基于提示的解决方案的性能,展示了重复使用现有能力的好处。
Oct, 2023
利用领导者 - 追随者双层框架,本文实现了一个完全集成的端到端框架,用于处理复杂的推理任务,并通过引入历史发现为生成合适的问题(提示)提供指导,进而指导行动学习。
利用大规模预训练语言模型,通过迭代增强和定制提示来提升其在复杂任务中的性能。
本文介绍了 Synthetic prompting 方法,该方法利用少量手工示例来提示模型自行生成更多示例,并选择有效的演示文稿以引出更好的推理。在数字、符号和算法推理任务上评估了该方法,并表明其优于现有提示技术。
Feb, 2023
本文提出了一种新的提示策略 least-to-most prompting,将复杂问题分解为多个子问题并顺序解决,可以解决比示范范例更难的例子,并在符号操作、组合泛化和数学推理方面表现出色。
May, 2022
引入 DaSLaM,使用分解生成器将复杂问题分解为需要更少推理步骤的子问题,由求解器回答。我们的方法在多个不同推理数据集上进行评估,表明 1750 亿参数 LM(text-davinci-003)可以产生与规模更大的 GPT-4 相比具有竞争力甚至更好的性能。
通过将问题分解为子问题,强迫模型在不同的上下文中回答简单的子问题,可以显著提高模型生成推理的可靠性,并在一定程度上提升效能,从而有望验证 LLM 行为的正确性和安全性。
Jul, 2023
通过使用透明的中间状态进行复合会带来可解释性和安全性的好处,但可能需要工作流程支持和基础设施来保持竞争力,为此我们描述了一种人在循环中使用的对于开发和完善复合 LM 程序的工作流程,并开发了一个可视化 LM 程序执行跟踪的开源工具 - ICE,通过三个真实世界的案例将这一工作流程应用于 LM 程序,并比非组合基线提高了 LM 程序的准确性 - 描述随机对照试验中使用的安慰剂(25%到 65%),评估参与者遵守医疗干预(53%到 70%)以及在 Qasper 数据集上回答 NLP 问题(38%到 69%)。
Jan, 2023
该研究介绍了分解提示方法,用于探究英语为中心的大型语言模型在序列标注任务中对语言结构的理解能力,其研究结果表明分解提示优于迭代提示基线,在零样本和少样本情况下具备更高的效用和效率,并发现评估方法和提示中的指令使用对结果有影响,同时发现英语为中心的语言模型在多语言任务中表现优于多语言模型,从而对英语为中心的语言模型的多语言可迁移性进行了深入研究,为了解其多语言语言知识做出了贡献。
Feb, 2024