Sep, 2023
学习预测常识生成的概念排序
Learning to Predict Concept Ordering for Common Sense Generation
Tianhui Zhang, Danushka Bollegala, Bei Peng
TL;DR通过对多个语言模型（LMs）和概念排序策略进行系统研究，我们发现使用 BART-large 模型在按照 CommonGen 训练数据中概念顺序进行微调时，表现始终优于其他所有考虑到的 LMs，并通过多个评估指标进行了衡量；此外，即便使用专门针对该任务的训练数据进行微调，更大的基于 GPT3 的大型语言模型（LLMs）变体在此任务上也未必表现更好；有趣的是，人工标注者在手动编写涵盖这些概念的句子时会显著调整输入的概念顺序，并且无论生成时使用的 LM 如何，这种排序都能提供最好的句子生成结果，超过了基于概率的概念排序基线。