概括是大型语言模型（LLMs）的一个重要应用，先前的评估主要关注它们在内容选择、语法和连贯性方面的表现，但众所周知 LLMs 会传递和强化有害的社会偏见，因此我们需要研究这些偏见是否会影响文摘模型的输出。为了回答这个问题，我们首先提出了一些针对文摘模型中的偏见行为的定义，并介绍了实际的度量方法。然后，为了避免输入文档中的内在偏见对分析的干扰，我们提出了一种方法来生成具有精细控制的人口属性的输入文档。最后，我们将我们的度量方法应用于专为文摘模型和通用聊天模型生成的文摘中，发现单一文档的内容选择似乎在很大程度上不受偏见的影响，而虚构现象显示出有偏见传播到生成的文摘中的证据。

Sep, 2023

对于大型语言模型，在抽象摘要任务中表现出色，但在多文档问答中存在输入上下文偏差，导致摘要内容分散，影响性能。本文通过实证研究揭示了这种偏差对于大型语言模型在不同摘要评估上的挑战。

Oct, 2023

我们对用户生成数据进行了公平抽象概括的系统研究，首次正式定义了公平的抽象概括，并提出了四个参考无关的自动评估指标来测量目标和源观点之间的差异。实验证明，无论是模型生成的还是人工编写的参考概括都存在公平性较低的问题，我们提出了三种简单但有效的方法来缓解不公平的概括。

Nov, 2023

我们通过测量位置偏差来表征和研究大型语言模型中的零样本抽象概括，位置偏差是我们提出的对前人文献中更为严格的引导偏差现象的一种普遍公式。通过在四个多样化的实际数据集上进行多次实验，我们研究了 GPT 3.5-Turbo、Llama-2 和 Dolly-v2 等多个 LLM 模型以及 Pegasus 和 BART 等最先进的预训练编码解码抽象概括模型中的位置偏差。我们的发现为零样本概括任务的模型性能和位置偏差带来了新的见解和讨论。

Jan, 2024

本文研究从立场相似度和立场多样性两个方面对 COVID-19 相关的三个争议性话题进行分析，考察了 BART 和 ChatGPT 两种语言模型对于文本中多样化观点的覆盖能力和相似立场的关系。实验结果显示，观点相似度较高并不代表着能充分呈现文本中观点的多样性。

Jun, 2023

对于神经摘要系统的明显改进及其依赖的语料库的基础逻辑尚未得到广泛探讨，因此本文提出了摘要的三个子方面：位置、重要性和多样性，并针对九个不同的摘要语料库（例如新闻、学术论文、会议纪要、电影剧本和书籍）进行了广泛分析。研究发现，尽管位置在新闻报道中存在重大偏见，但在学术论文和会议纪要等其他领域不是这种情况。此外，我们的经验证明不同类型的自动摘要系统（例如基于神经网络）由不同程度的子方面组成。因此，本研究提供了有关在收集新的摘要数据集或开发新系统时考虑基础子方面的有用信息。

Aug, 2019

通过对抽象摘要模型进行偏见定量化研究，并应用不同的模型和适应方法来总结社交媒体意见的任务，本研究发现大多数模型具有固有偏见。使用社交媒体文本摘要数据集并对比各种适应方法，发现调整较少的参数不如标准微调偏见较小；然而，用于微调的训练数据中的主题多样性至关重要。

Feb, 2024

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

本文提出两种技术来使系统对文章不同部分的重要性敏感，一种是使用随机排序的句子进行预训练，一种是使用基于 ROUGE 的 Auxiliary Loss 来分散整个文档中的重要性得分，这些技术可以显着提高基于强化学习的抽取系统的性能。

Sep, 2019

通过研究法律数据集和大型语言模型产生的案件判决摘要中存在的偏见，分析其对法律决策的影响，揭示大型语言模型和预训练的摘要模型生成结果中存在的有趣偏见，并探讨这些偏见背后的原因。

Dec, 2023