Nov, 2023
大型语言模型的最佳角色是“有帮助的助理”吗？对系统提示中社交角色的系统评估
Is "A Helpful Assistant" the Best Role for Large Language Models? A
Systematic Evaluation of Social Roles in System Prompts
TL;DR通过对三种热门大型语言模型和2457个问题进行广泛的分析，我们发现在系统提示中添加人际角色可以持续地提高模型在各种问题上的性能。此外，我们还发现使用中性角色并将其指定为受众可以获得更好的性能，同时预测哪种角色可以获得最佳的性能仍然是一个具有挑战性的任务，频率、相似度和困惑度不能完全解释社会角色对模型性能的影响。这些结果可以帮助指导AI系统的系统提示设计。