ICLRSep, 2022
双向语言模型也是小样本学习器
Bidirectional Language Models Are Also Few-shot Learners
Ajay Patel, Bryan Li, Mohammad Sadegh Rasooli, Noah Constant, Colin Raffel...
TL;DR本研究提出了一种名为 SAP 的技术,旨在使双向语言模型具有提示功能。利用机器翻译任务作为案例研究,我们使用 SAP 提示双向 mT5 模型,并证明其少量示例和零量示例的翻译性能优于 unidirectional 模型,同时展示了 SAP 在问答和摘要生成中的有效性,证明提示学习是更广泛的语言模型类别的新兴属性而不仅仅是单向模型的特征。