Sep, 2023

调查新闻摘要中的性别偏见

PDF
TL;DR概括是大型语言模型（LLMs）的一个重要应用，先前的评估主要关注它们在内容选择、语法和连贯性方面的表现，但众所周知 LLMs 会传递和强化有害的社会偏见，因此我们需要研究这些偏见是否会影响文摘模型的输出。为了回答这个问题，我们首先提出了一些针对文摘模型中的偏见行为的定义，并介绍了实际的度量方法。然后，为了避免输入文档中的内在偏见对分析的干扰，我们提出了一种方法来生成具有精细控制的人口属性的输入文档。最后，我们将我们的度量方法应用于专为文摘模型和通用聊天模型生成的文摘中，发现单一文档的内容选择似乎在很大程度上不受偏见的影响，而虚构现象显示出有偏见传播到生成的文摘中的证据。
发现论文，激发创造
  • 关于大型语言模型中的位置偏差的总结化问题

    对于大型语言模型，在抽象摘要任务中表现出色，但在多文档问答中存在输入上下文偏差，导致摘要内容分散，影响性能。本文通过实证研究揭示了这种偏差对于大型语言模型在不同摘要评估上的挑战。

    Oct, 2023

  • 质疑案件判决摘要中的偏见：法律数据集还是大型语言模型？

    通过研究法律数据集和大型语言模型产生的案件判决摘要中存在的偏见，分析其对法律决策的影响，揭示大型语言模型和预训练的摘要模型生成结果中存在的有趣偏见，并探讨这些偏见背后的原因。

    Dec, 2023

  • 社交多文档摘要中了解位置偏见对公平性的影响

    对社交媒体数据进行多源文档摘要的时候，用于优化摘要质量的模型往往侧重于流畅性、相关性和连贯性等方面，但摘要模型对不同社会群体意见的公正性也显得越来越重要。我们深入探讨了位置偏见在社交媒体多源文档摘要中的影响，通过分析输入文档中群组顺序对非裔美国英语、西班牙语及白人英语族群的推文进行摘要。实证分析结果显示，尽管文本摘要的质量在不考虑输入文档顺序时保持稳定，但公正性方面的结果会因方言群体在输入数据中的呈现方式而产生显著差异。我们的结果表明，位置偏见在社交媒体多源文档摘要中呈现不同，严重影响了摘要模型的公正性。

    May, 2024

  • 总结（几乎）已死

    大型语言模型在总结任务中表现出令人满意的性能，超过了参考摘要的基准，人类评估者明显偏好大型语言模型生成的摘要而不是人工撰写的摘要和经过微调的模型生成的摘要，因为大型语言模型生成的摘要具有更好的事实连贯性和更少的外在幻觉实例。

    Sep, 2023

  • 新闻摘要的大型语言模型基准测试

    通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

    Jan, 2023

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 文本摘要的系统调查：从统计方法到大型语言模型

    通过深度神经网络、预训练语言模型和最新的大型语言模型的出现，文本摘要研究经历了几次重大转型，本文综述通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变，分为两个主要部分：(1) 在大型语言模型时代之前的数据集、评估指标和摘要方法的详细概述，包括传统统计方法、深度学习方法和预训练语言模型微调技术，以及 (2) 大型语言模型时代中对基准测试、建模和评估摘要的最新进展的首次详细研究。通过综合现有文献并提供一个连贯的概述，本文还讨论了研究趋势、面临的挑战以及在摘要研究中提出的有希望的研究方向，旨在引导研究人员了解摘要研究的不断演变的领域。

    Jun, 2024

  • 基于大型语言模型的可控指令摘要生成与评估能力基准测试

    语言模型在标准的概括基准测试中已经取得了强大的性能，但在更复杂的概括任务设置上的表现却鲜少被研究。本研究基于指令可控的文本概括对语言模型进行评估，并使用多种评估协议和多个语言模型进行了自动评估。研究结果表明，指令可控的文本概括对于语言模型仍然是一个具有挑战性的任务，存在各种错误和性能差异。我们公开提供了我们的评估基准 IntruSum，以促进未来的相关研究。

    Nov, 2023

  • 从预训练到适应过程中的观点摘要偏倚：以政治偏倚为案例研究

    通过对抽象摘要模型进行偏见定量化研究，并应用不同的模型和适应方法来总结社交媒体意见的任务，本研究发现大多数模型具有固有偏见。使用社交媒体文本摘要数据集并对比各种适应方法，发现调整较少的参数不如标准微调偏见较小；然而，用于微调的训练数据中的主题多样性至关重要。

    Feb, 2024

  • 大型语言模型摘要能适应多样化的科学沟通目标吗？

    研究大型语言模型在科学摘要任务上的可控性问题，通过控制文体特征发现没有经过微调的大型语言模型在 MuP 评审生成任务方面优于人类，同时表明我们可以通过基于关键词的无分类器引导来提高语言模型的可控性，从而在 arXiv 和 PubMed 上实现与强基线的词汇重叠相当的结果。然而，研究结果还表明大型语言模型无法一致生成超过 8 个句子的长摘要，且在生成高度抽象的通俗摘要方面存在有限能力，因此在领域特定应用中，仍然存在着需要昂贵微调才能解决的问题。

    Jan, 2024