多元观点的公平抽象摘要
大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。
Sep, 2023
概括是大型语言模型（LLMs）的一个重要应用，先前的评估主要关注它们在内容选择、语法和连贯性方面的表现，但众所周知LLMs会传递和强化有害的社会偏见，因此我们需要研究这些偏见是否会影响文摘模型的输出。为了回答这个问题，我们首先提出了一些针对文摘模型中的偏见行为的定义，并介绍了实际的度量方法。然后，为了避免输入文档中的内在偏见对分析的干扰，我们提出了一种方法来生成具有精细控制的人口属性的输入文档。最后，我们将我们的度量方法应用于专为文摘模型和通用聊天模型生成的文摘中，发现单一文档的内容选择似乎在很大程度上不受偏见的影响，而虚构现象显示出有偏见传播到生成的文摘中的证据。
Sep, 2023
在多篇文档新闻摘要研究中，以往研究通常集中于整合各个来源都同意的信息。然而，据我们所知，以往尚未研究过涉及同一事件的多篇文章中分散的多样信息的摘要。后者为摘要模型提出了一组不同的挑战。在本文中，我们提出了一个新任务，即摘要涉及同一事件的多篇新闻文章中的多样信息。为了完成这项任务，我们确定了一个用于识别多样信息的数据收集模式，并创建了一个名为DiverseSumm的数据集。该数据集包含245个新闻故事，每个故事包括10篇新闻文章，并配有人工验证的参考摘要。此外，我们进行了全面的分析，以确定基于大型语言模型（LLM）的度量标准在评估摘要的全面性和忠实度时存在的位置和冗长偏差，以及它们与人工评估的相关性。我们应用我们的发现来研究LLMs如何通过分析LLMs能够识别哪种类型的多样信息来摘要多篇新闻文章。我们的分析表明，尽管LLMs在单篇文档摘要方面具有非凡的能力，但对于他们来说，所提出的任务仍然是一个复杂的挑战，主要是由于他们的覆盖范围有限，GPT-4只能够平均覆盖不到40%的多样信息。
Sep, 2023
通过使用划分群体公平性的全新层次模式，我们提出了对大型语言模型进行偏见评估的方法，并构建了一个跨多个维度的目标属性组合的数据集，GFair。此外，我们还引入了一项新的开放式文本生成任务来揭示大型语言模型中的复杂偏见。通过对流行的大型语言模型进行广泛评估，我们发现存在固有的安全问题。为了从群体公平性的角度减轻大型语言模型的偏见，我们首创了一种新的思维链(GF-Think)方法。实验结果表明，此方法在减轻大型语言模型中的偏见以实现公平性方面非常有效。
Dec, 2023
通过对抽象摘要模型进行偏见定量化研究，并应用不同的模型和适应方法来总结社交媒体意见的任务，本研究发现大多数模型具有固有偏见。使用社交媒体文本摘要数据集并对比各种适应方法，发现调整较少的参数不如标准微调偏见较小；然而，用于微调的训练数据中的主题多样性至关重要。
Feb, 2024
对社交媒体数据进行多源文档摘要的时候，用于优化摘要质量的模型往往侧重于流畅性、相关性和连贯性等方面，但摘要模型对不同社会群体意见的公正性也显得越来越重要。我们深入探讨了位置偏见在社交媒体多源文档摘要中的影响，通过分析输入文档中群组顺序对非裔美国英语、西班牙语及白人英语族群的推文进行摘要。实证分析结果显示，尽管文本摘要的质量在不考虑输入文档顺序时保持稳定，但公正性方面的结果会因方言群体在输入数据中的呈现方式而产生显著差异。我们的结果表明，位置偏见在社交媒体多源文档摘要中呈现不同，严重影响了摘要模型的公正性。
May, 2024
本研究解决了在全球政党对立和两极化愈加严重的背景下，如何有效摘要不同政治观点的难题。提出了一种新颖的数据集和任务，通过评估不同模型的表现，发现尽管近期的模型如GPT-4o表现良好，仍然难以生成忠实于特定视角的摘要。研究结果显示，摘要的提取行为与输入文档的特征密切相关，具有重要的应用潜力。
Nov, 2024
本研究解决了多文档用户生成内容摘要中的公平性问题，现有方法常常未能实现不同社会群体的公平代表。我们提出了两种新的公平提取摘要方法，FairExtract和FairGPT，其在确保公平性的同时保持了竞争力的摘要质量，且引入了综合评估指标来更好地理解质量与公平之间的权衡。
Nov, 2024
本研究针对多文档摘要中的公平性问题，尤其是在用户生成内容中不同社会群体的偏见表示。提出了两种新方法：基于聚类的FairExtract和结合公平约束的FairGPT，这些方法在确保公平性同时也维持了摘要质量。研究表明，这些方法在质量和公平性的综合评估上都有显著优势，为未来的公平意识自然语言处理模型研究奠定了基准。
Nov, 2024