cross-task generalization | BriefGPT

关键词cross-task generalization

搜索结果 - 8

从实例训练到指导学习：通过指导生成任务适配器
通过指令调优的方式，利用大型语言模型 (Large language models, LLMs) 能够解决各种普适任务，然而，指令调优仍过于依赖大量任务数据的实例训练，这严重限制了 LLMs 在实际场景中对标记任务实例稀缺和广泛任务泛化的适
PDF18 days ago
LoraHub: 动态 LoRA 组合实现高效的跨任务泛化
LoRAHub 是一个用于组合多个训练在不同任务上的 LoRA 模块的战略性框架，旨在实现在未知任务上的适应性性能，可以有效地模拟在少样本情况下的上下文学习表现，无需上下文示例。
PDFa year ago
通过逐步指导提高跨任务泛化性能
研究通过逐步指南调整的方式，可以帮助语言模型完成指定任务，提高跨任务泛化能力。自动获得的逐步指南，结合原始指南对语言模型进行调整，可以为完成目标任务提供详细和具体的步骤。研究发现，高质量的逐步指南可以提高不同模型大小之间跨任务的泛化能力，并
PDFa year ago
LINGO: 视觉去偏见自然语言指令以支持任务多样性
LINGO 是一种新颖的可视化分析界面，可帮助优化自然语言任务指令以减少偏差，并提高模型性能，且经实验验证其支持创建更高语言多样性和更低指令偏差的难度更大的任务；该工具可应用于多领域的指令撰写中。
PDFa year ago
CrossCodeBench: 源代码模型的跨任务泛化基准测试
本文提出了一个包括 216 个现有的与编程有关的任务，并以任务描述和指南等元信息进行注释的大规模基准，以评估模型的不同任务之间的泛化能力，展示出从任务指南进行的少量样本学习和学习方式带来的显著提升。
PDFa year ago
零标签提示选择
提出一种不依赖标签数据或梯度更新的 “零标签提示选择” 方法（ZPS），通过使用伪标签的方式来选择最优的提示，实现零标签任务的高性能。在零标签性能方面，ZPS 显著改善了先前方法，并将其扩展到少量样本的情况下，表现优于强基线模型。
PDF2 years ago
检索增强的无监督跨任务泛化
本研究提出了一种叫做 ReCross 的检索增强方法，用于提升大规模多任务语言模型在无监督环境下的交叉任务泛化能力。结果表明，该方法显著优于其他基线方法。
PDF2 years ago
EMNLP跨强度训练挑战：自然语言处理中的少样本学习和多任务泛化
研究表明，通过利用学习先前任务时获取的知识，仅使用少量示例即可有效地学习新语言任务。本文探讨了跨任务泛化能力是否以及如何获得，并进一步应用于构建跨不同自然语言处理任务的更好的少样本学习器。我们引入了 CrossFit 问题设置来研究跨任务泛
PDF3 years ago