可扩展的语言模型提示
自动选择给定输入的最佳提示,克服手动设计有效提示的挑战,通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器,并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。
Apr, 2024
本研究提出了一种名为跨语言思维提示(XLT)的方法,通过激发跨语言和逻辑推理技能,改善了大语言模型的多语言能力,并在与推理、理解和生成有关的 7 个基准测试中进行了全面的评估,实验结果显示 XLT 不仅显著提高了各种多语种任务的性能,而且还显著减少了不同语言中每个任务平均性能和最佳性能之间的差距。
May, 2023
通过 Prompt2Model 方法,可以使用少量的提示,训练出性能优异、体积小 700 倍的特定目的模型,用于自然语言处理任务。
Aug, 2023
本文介绍了一种使用神经语言模型的 zero-shot prompting 方法,在不需要监督训练的情况下解决 ad-hoc 语言任务。我们提出了 PromptIDE 工具,该工具可以帮助用户实验不同的提示词选择,以达到任务指标的优化和数据量的扩展。该工具已在多个现实世界的案例中得到了应用。
Aug, 2022
利用强大的视觉 - 语言模型(VLM)来完成各种下游任务已引起越来越多的关注。我们提出了一种新颖的可解释提示学习框架,通过在多个粒度上对医学知识、可以学习的提示和临床概念驱动的提示的语义进行对齐,来解决这个问题,并为提示提供了视觉和文本解释。通过对各种数据集进行广泛的实验证明,我们的方法同时实现了优越的诊断性能、灵活性和可解释性,为基础模型在促进可解释的人工智能方面的有效性提供了新的视角。
Mar, 2024
本文提出了一种 Language Model Programming(LMP)的全新方法,以将纯文本提示扩展为文本提示和脚本的直观组合,并允许指定约束条件,从而实现对下游任务的易于适应性。通过实现 LMQL(Language Model Query Language)来实现 LMP 的支持,并证明了其在保持或提高下游任务准确性的前提下,大大减少了计算的成本。
Dec, 2022
本文提出了 XLM-P 模型,结合上下文获取灵活的编码,实现语言无关以及语言特定知识的轻量级建模,且可以与其他多语言预训练方法轻松集成,提供用于文本分类、序列标记、问答和句子检索的性能改进,对于低资源语言和跨语言传输具有实际优势。
Jun, 2023
该研究引入了基于联合提示归属的反事实解释框架 XPrompt,旨在解释少数提示文本是如何共同影响大型语言模型(LLM)的完整生成,并通过定义和利用多个评估指标来展示我们框架的忠实度和效率。
May, 2024