Sep, 2022

使用 BABE 远程监督进行神经媒体偏见检测 -- 专家标注偏见

PDF
TL;DR本论文介绍 BABE 数据集，该数据集由专家标注，在标注质量和协议一致性方面比现有研究有了更好的表现。基于该数据集，使用 BERT 模型进行监督学习，可以自动检测新闻文章中引入偏见的句子。最终实验结果表明，该方法优于现有方法，在该数据集上的宏 F1 值为 0.804。
media biasword choicedata setbert-based modelsupervised learning
发现论文，激发创造
  • 新闻上的语言偏见检测的领域自适应预训练方法

    本文针对媒体偏见的重要形式 —— 用词偏见展开研究。提出了一种基于 DA-RoBERTa 模型的领域自适应方法，实现在句子级别上对有偏见的用词进行检测。同时，训练了 DA-BERT 和 DA-BART 两种基于转换器的模型，并证明了这些模型在相同数据上优于以前的偏见检测方法。

    May, 2022

  • 利用基于 Transformer 的多任务学习技术检测新闻报道中的媒体偏见

    本文提出了一种基于多任务深度学习训练的 Transformer 架构，使用六个与偏见相关的数据集来解决媒体偏见检测问题，取得了较好的效果。

    Nov, 2022

  • 新闻中的目标感知背景政治偏见检测

    媒体偏见检测需要综合多个新闻来源的信息，以句子级别的政治偏见检测为例，通过考虑上下文中的偏见而进行的任务被证明是一项具有挑战性的任务。我们提出了一种更加小心地搜索上下文的技术，采用偏见敏感和目标感知的数据增强方法，通过与 BERT 等预训练模型的结合，在著名的 BASIL 数据集上进行了综合实验，取得了 58.15 的 F1 得分，明显优于先前方法的最新偏见检测任务。

    Oct, 2023

  • BEADs：跨领域偏见评估

    近期大型语言模型取得重大突破，显著增强了自然语言处理应用，但这些模型也可能继承和持续传播来自训练数据的偏见。为了解决这个问题，我们介绍了 Bias Evaluations Across Domains (BEADs) 数据集，旨在支持各种自然语言处理任务，包括文本分类、偏见实体识别、偏见量化和良性语言生成。BEADs 使用 AI 驱动的注释结合专家验证来提供可靠的标签，克服了现有数据集的局限性。实证分析表明，BEADs 能够有效检测和减少不同语言模型的偏见，经过 BEADs 微调的较小模型在偏见分类任务中通常优于大型语言模型。然而，这些模型可能仍对特定人群存在偏见。使用我们的良性语言数据对大型语言模型进行微调也能减少偏见并保留模型的知识。我们的发现突出了全面偏见评估的重要性以及针对大型语言模型减少偏见的有针对性微调的潜力。我们将 BEADs 公开提供。

    Jun, 2024

  • 使用预训练的神经转换器进行新闻偏见检测的实验

    比较几种大型的预训练语言模型在句级新闻偏见检测和子类型分类任务上的性能，并提供了定量和定性结果。

    Jun, 2024

  • 利用高斯偏差分布检测新闻文章中的媒体偏见

    通过研究基于高斯混合模型的概率分布，发现频率和位置对于文章层面的媒体偏见检测至关重要，其次是其精确的时序，相较于只依赖于低水平词汇信息分布的特征和神经文本分类方法。

    Oct, 2020

  • 发展自然语言理解模型以描述有线新闻偏见

    通过对使用命名实体识别分析主题并通过立场分析讨论这些主题的方法，我们开发了一种无需任何人为输入来定义有线新闻节目偏见的无监督机器学习方法，应用于 2020 年的有线新闻转录中，发现节目的聚类随时间的变化而保持稳定且大致对应于节目所属的有线新闻网络，该方法揭示了未来客观评估媒体偏见和描绘陌生媒体环境的潜力。

    Oct, 2023

  • MBIB - 首个媒体偏见识别基准任务和数据集合集

    本研究介绍了 Media Bias Identification Benchmark（MBIB），这是一个包含不同类型媒体偏见的综合性基准，使用最新的 Transformer 技术对其进行了评估，结果表明，虽然仇恨言论、种族偏见和性别偏见更容易检测，但模型却无法处理某些偏见类型，同时该基准还发现了研究兴趣和资源分配的不均衡现象，鼓励开发更强大的系统来解决多个媒体偏见类型问题。

    Apr, 2023

  • MedDistant19：面向广泛覆盖的医学关系抽取精准基准的研究

    本研究针对生物医学领域中关系抽取的挑战，提出利用知识图谱关系对原始文本进行自动标注，以克服标注数据缺乏的问题，并通过构建更为准确的基准集 “MedDistant19” 来解决现有基准集存在的一系列问题，并验证了其在领域中具有普遍适用性。

    Apr, 2022

  • 利用引线偏差进行零 - shot 抽象新闻摘要

    本文提出了一种利用新闻报道中引文偏见进行先训练的方法，以预测文章中的前导句。作者把这种方法应用到 BART 和 T5 模型中，为领域适应打下基础，并通过六个基准数据集的实验表明，这种方法可以显著提高摘要质量，取得了零调整的新闻摘要的最新成果。

    Dec, 2019