树形引导:高效任务适应无需微调
通过提出多维任务提示学习方法(MTPrompt),将更多的任务相关信息嵌入提示中,以激发大型语言模型中嵌入的知识,从而实现在少样本和五个不同数据集上取得最佳结果,并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。
Dec, 2023
本文介绍了一种使用神经语言模型的 zero-shot prompting 方法,在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具,该工具可以帮助用户实验不同的提示词选择,以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。
Aug, 2022
该研究提出了一种多级提示调优方法来增强机器阅读理解,通过利用任务特定、领域特定和上下文相关的提示,提高了输入语义在不同层次上的理解能力。同时,引入了独立性约束来避免冗余,并利用上下文相关知识生成合适的提示。在各种问答格式的 12 个基准测试中进行了广泛实验,相比最先进的方法,平均改进率达到了 1.94%。
Oct, 2023
使用少量训练示例和任务说明来训练语言模型对于几乎所有任务都很重要,本文提出在极小数据量情境下调整 LM 可显著降低提示工程需求,使用 0.1% 参数更新的 bias terms 可以实现与标准调整相当甚至更好的准确性。
Jun, 2021
本文提出了 “SpeechPrompt V2” 语音分类的编程框架,该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。
Mar, 2023
通过利用任务和提示的特征,AdaPrompt 使预训练语言模型不断预训练,提高了 NLP 方面几个基准测试中的表现,在零样本情况下相对误差降低了高达 26.35%。
Feb, 2022
通过渐进性微调将提示知识内化到模型参数中,我们的方法能够使 LLMs 在新任务中模拟人类学习过程,并逐渐适应该任务,从而减少推理标记超过 90%、加速推理 4.2 倍、节省 88.3%的费用。
Jul, 2024
本论文提出了一种能够提高知识转换的可解释性的命令调整范式,名为 TreePrompt,将复杂的句子分解为树,通过结构化的命令生成过程,使每个中间的命令(即树节点)都可以理解推理过程。实验证明了 TreePrompt 的有效性和可解释性。
May, 2023
本文提出了一种动态提示策略 (DP) 来优化 LMs 的 prompt tuning,通过任务优化、位置、长度和提示表示的动态优化,实验证明 DP 能提高分类准确度,并证明其在全数据、少样本和多任务情况下都是有用的。
Mar, 2023