Jun, 2024
LLM 能够自我纠错的实际时机研究：对 LLM 自我纠错的关键调查
When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs
Ryo Kamoi, Yusen Zhang, Nan Zhang, Jiawei Han, Rui Zhang
TL;DR通过对大型语言模型（LLMs）进行自我纠正来提高其回答效果是一种改进方法。本文对自我纠正的研究条件进行了关键性调查，发现以往研究往往缺乏详细定义的研究问题，使用非实用的框架和过度评估自我纠正。通过对新分类的研究问题进行关键性调查，我们发现：（1）以提示的 LLMs 反馈进行自我纠正的先前工作没有成功的示例；（2）自我纠正在可以使用可靠的外部反馈的任务中效果良好；（3）大规模微调可以实现自我纠正。