Aug, 2023
大规模持续预训练用于零样本和少样本的文档问答
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Sijin Wu, Dan Zhang, Teng Hu, Shikun Feng
TL;DR本文提出了用于文档问答任务的 Docprompt 模型，具有强大的零样本和少样本性能。通过提出一种新的弱监督数据生成方法、新的多阶段训练方法和新的理解模型与生成模型集成方法，实验证明在文档问答任务上继续预训练后的 Docprompt 模型明显优于现有的强基线模型。该方法极大地提高了文档问答客户项目的交付效率和模型性能，降低了注释成本和劳动成本。