Apr, 2024
英语LLMs的代词使用准确度：是推理、重复还是偏见？
Robust Pronoun Use Fidelity with English LLMs: Are they Reasoning,
Repeating, or Just Biased?
TL;DR在语言模型中，个体的稳健、忠实且无害的代词使用是一个重要目标，但现有研究往往只研究其中一两个组成部分。为了衡量这一综合目标的进展，我们引入了代词使用忠实度任务：在给定引入共指实体和代词的上下文的情况下，重用正确的代词，与潜在干扰因素无关。我们提供一个精心设计的超过500万个实例的数据集，以评估英语中代词使用的忠实度，并将其用于评估37个流行的大规模语言模型，包括体系结构（仅编码器、仅解码器和编码器-解码器）和规模（11M-70B个参数）。我们发现，虽然模型在没有干扰因素的情况下通常可以忠实地重用先前指定的代词，但在处理she/her/her、singular they和新代词时，它们的表现显著较差。此外，模型对代词的忠实性并不稳健，很容易分神。即使有一个包含干扰代词的额外句子，准确性平均下降了34%。对于仅解码器模型，当有5个干扰句子时，准确性下降了52%，对于仅编码器模型则下降了13%。我们展示了广泛使用的大型语言模型仍然脆弱，推理能力有很大差距，对于人类来说是非常简单的代词处理设置也存在问题，我们鼓励在偏见和推理领域的研究人员加以解决这些问题。