EMNLPOct, 2023
小语言模型微调以协调更大的语言模型,提升复杂推理
Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning
Gurusha Juneja, Subhabrata Dutta, Soumen Chakrabarti, Sunny Manchanda, Tanmoy Chakraborty
TL;DR引入 DaSLaM,使用分解生成器将复杂问题分解为需要更少推理步骤的子问题,由求解器回答。我们的方法在多个不同推理数据集上进行评估,表明 1750 亿参数 LM(text-davinci-003)可以产生与规模更大的 GPT-4 相比具有竞争力甚至更好的性能。