Feb, 2024
言之有物:通过要旨压缩理解提示学习行为
Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression
Xinze Li, Zhenghao Liu, Chenyan Xiong, Shi Yu, Yukun Yan...
TL;DR该研究提出了 Gist COnditioned deCOding (Gist-COCO) 模型,利用编码器和解码器构建语言模型,并使用附加的编码器插件模块进行输入压缩,将表示的要点标记转化为要点提示,以高压缩率优于以往的要点压缩模型,辅助大型语言模型在不同任务中的表现。