Oct, 2023
研究多选设置下对齐语言模型的不确定性校准
Investigating Uncertainty Calibration of Aligned Language Models under the Multiple-Choice Setting
Guande He, Peng Cui, Jianfei Chen, Wenbo Hu, Jun Zhu
TL;DR对齐的语言模型在多选题设置下多显示过于自信的输出答案,我们系统评估了对齐过程对语言模型的逻辑回归置信度校准的影响,并提出了易于实施且高效的校准方法。