ACLJun, 2021

评估开放式聊天机器人一致性的高效实用框架

TL;DR本文提出了一种名为‘历史问题解答’的框架(AIH),通过在聊天机器人之间进行对话来有效评估聊天机器人的一致性能力,并且可以利用自然语言推理模型来识别答案是否与历史矛盾。实验表明,该方法可以有效可靠地评估聊天机器人的一致性能力和得到与人类评价的高相关性。