ACLMay, 2021

通过交替对抗学习降低新闻摘要中的主导偏见

PDF
TL;DR该研究提出了一种新的技术来减少新闻文章中的领导偏见，使自动文摘模型更加关注内容语义。实验表明此方法可以有效地减少模型学习到的领导偏见，在分布不均匀的数据上具有更好的泛化性能，而在分布均匀的数据上效果无损。
neural extractive summarizerslead biascontent semanticsout-of-distribution datain-distribution data
发现论文，激发创造
  • 利用引线偏差进行零 - shot 抽象新闻摘要

    本文提出了一种利用新闻报道中引文偏见进行先训练的方法，以预测文章中的前导句。作者把这种方法应用到 BART 和 T5 模型中，为领域适应打下基础，并通过六个基准数据集的实验表明，这种方法可以显著提高摘要质量，取得了零调整的新闻摘要的最新成果。

    Dec, 2019

  • 通过多阶段训练和辅助损失对抗新闻摘要中的主观倾向

    本文提出两种技术来使系统对文章不同部分的重要性敏感，一种是使用随机排序的句子进行预训练，一种是使用基于 ROUGE 的 Auxiliary Loss 来分散整个文档中的重要性得分，这些技术可以显着提高基于强化学习的抽取系统的性能。

    Sep, 2019

  • 通过对比学习缓解摘要文本生成中的曝光偏差

    提出使用对比学习来减少低质量文摘的可能性，同时增加黄金文摘的可能性，以解决 Encoder-decoder 模型在训练和推理中的偏差问题，并在实验中证明这种方法有效地提高了最先进模型在不同数据集上的性能。

    Aug, 2021

  • NeuS: 用于减轻框架偏差的中立多新闻摘要

    本文提出了一种从多个政治倾向变化的新闻文章中生成中性摘要的新任务，设计了有效的度量标准和模型（NeuS-TITLE）并通过标题到文章这种层次结构的方式来实现中性化。

    Apr, 2022

  • 调查新闻摘要中的性别偏见

    概括是大型语言模型（LLMs）的一个重要应用，先前的评估主要关注它们在内容选择、语法和连贯性方面的表现，但众所周知 LLMs 会传递和强化有害的社会偏见，因此我们需要研究这些偏见是否会影响文摘模型的输出。为了回答这个问题，我们首先提出了一些针对文摘模型中的偏见行为的定义，并介绍了实际的度量方法。然后，为了避免输入文档中的内在偏见对分析的干扰，我们提出了一种方法来生成具有精细控制的人口属性的输入文档。最后，我们将我们的度量方法应用于专为文摘模型和通用聊天模型生成的文摘中，发现单一文档的内容选择似乎在很大程度上不受偏见的影响，而虚构现象显示出有偏见传播到生成的文摘中的证据。

    Sep, 2023

  • 利用基于 Transformer 的多任务学习技术检测新闻报道中的媒体偏见

    本文提出了一种基于多任务深度学习训练的 Transformer 架构，使用六个与偏见相关的数据集来解决媒体偏见检测问题，取得了较好的效果。

    Nov, 2022

  • 新闻上的语言偏见检测的领域自适应预训练方法

    本文针对媒体偏见的重要形式 —— 用词偏见展开研究。提出了一种基于 DA-RoBERTa 模型的领域自适应方法，实现在句子级别上对有偏见的用词进行检测。同时，训练了 DA-BERT 和 DA-BART 两种基于转换器的模型，并证明了这些模型在相同数据上优于以前的偏见检测方法。

    May, 2022

  • 提高文本摘要的事实一致性：通过对 L 软件理解与装饰能力进行对抗解耦

    本文提出了一种基于对抗解耦的方法（DECENT），旨在提高大型语言模型（LLMs）的文本摘要的准确性和可靠性，以克服其在生成摘要时出现的谬误和虚假细节的问题。

    Oct, 2023

  • 深度神经网络中的潜在对抗去偏差：缓解原因变量偏差

    通过使用潜在的对抗去偏差 (LAD) 来生成去偏差的训练数据，尽管混淆信号存在于 100% 的训练数据中，但练习神经网络，可以在 Collider Bias 设置中提高它们的推广性。

    Nov, 2020

  • 从预训练到适应过程中的观点摘要偏倚：以政治偏倚为案例研究

    通过对抽象摘要模型进行偏见定量化研究，并应用不同的模型和适应方法来总结社交媒体意见的任务，本研究发现大多数模型具有固有偏见。使用社交媒体文本摘要数据集并对比各种适应方法，发现调整较少的参数不如标准微调偏见较小；然而，用于微调的训练数据中的主题多样性至关重要。

    Feb, 2024