Nov, 2021

关于 prompt tuning 在自然语言处理中的可迁移性

TL;DR本文考察了使用预训练的语言模型进行 Prompt tuning (PT) 的有效性,同时也研究了软提示在不同任务和不同模型之间的可迁移性,并发现神经元激活的重叠率是决定软提示可迁移性的重要指标。我们的发现表明,软提示迁移有望改善 PT,并建议进一步研究提示对模型的刺激方法