解锁偏差检测：利用基于 Transformer 模型的内容分析

Sep, 2023

解锁偏差检测：利用基于 Transformer 模型的内容分析

Unlocking Bias Detection: Leveraging Transformer-Based Models for Content Analysis

Shaina Raza, Oluwanifemi Bamgbose, Veronica Chatrath, Yan Sidyakin, Shardul Ghuge...

TL;DR通过联合使用 Context Transformer 和 Entity Transformer，我们提出了一种新的 Contextualized Bi-Directional Dual Transformer（CBDT）分类器，用于检测文本中的偏见。实验结果表明，CBDT 分类器在准确分类有偏见和无偏见的句子以及识别具体有偏见词语和短语方面具有优势。与基准模型相比，我们获得了约 2-4% 的性能提升。未来的研究可以将该模型扩展到不同的语言和文化背景。

Abstract

detecting bias in text is crucial due to its potential implications in perpetuating harmful stereotypes, spreading misinformation, and influencing decision-making. Existing language models often struggle to generalize beyond their training data. To address this challenge, we propose th

detecting bias contextualized bi-directional dual transformer classifier text classification biased sentences language modeling

发现论文，激发创造

利用基于 Transformer 的多任务学习技术检测新闻报道中的媒体偏见

本文提出了一种基于多任务深度学习训练的 Transformer 架构，使用六个与偏见相关的数据集来解决媒体偏见检测问题，取得了较好的效果。

Nov, 2022

文本中当前的拓扑和机器学习应用于偏见检测

本研究探索了大语言模型的嵌入和几何模型对偏见建模准确度的影响，利用 RedditBias 数据库分析文本偏见，在偏见分类上，BERT，尤其是迷你 BERT，表现出色，而多语言模型则表现较差。研究建议改进单语模型，并探索领域特定的偏见。

Nov, 2023

利用心理语言学特征和 Transformer 提升基于文本的情感检测的泛化能力

本文采用基于转换器模型和双向 LSTM 网络的方法，结合心理语言学特征进行基于文本的情感检测，在两个基准数据集中表现出可比性，在六个统一情感数据集的迁移学习实验中表现出强大的跨领域泛化功能。

Dec, 2022

基于转录器的流式语音识别中的自适应上下文偏置

提出了一个基于上下文感知的变形器转录方法的自适应上下文偏置方法，通过使用有偏的编码器和预测器嵌入来执行流媒体预测，动态地开关偏差列表，以适应个性化和常见情况，实验证明相对于基线，它可以在常见情况下减少 WER 和 CER 达到 6.7％和 20.7％，在个性化情况下对性能影响极小，同时保持快速的推理管道。

Jun, 2023

新闻中的目标感知背景政治偏见检测

媒体偏见检测需要综合多个新闻来源的信息，以句子级别的政治偏见检测为例，通过考虑上下文中的偏见而进行的任务被证明是一项具有挑战性的任务。我们提出了一种更加小心地搜索上下文的技术，采用偏见敏感和目标感知的数据增强方法，通过与 BERT 等预训练模型的结合，在著名的 BASIL 数据集上进行了综合实验，取得了 58.15 的 F1 得分，明显优于先前方法的最新偏见检测任务。

Oct, 2023

使用预训练的神经转换器进行新闻偏见检测的实验

比较几种大型的预训练语言模型在句级新闻偏见检测和子类型分类任务上的性能，并提供了定量和定性结果。

Jun, 2024

NBIAS：文本中的偏见识别的自然语言处理框架

通过开发一个全面而健壮的框架 “Nbias”，我们能够检测和消除文本数据中的偏见，以确保数据的公正和道德使用。该框架包括数据层、语料库构建、模型开发层和评估层，并应用了基于 transformer 的标记分类模型识别具有独特命名实体的偏见词语 / 短语。通过定量和定性评估的混合方法，我们取得了 1% 至 8% 的准确率改进，同时还能全面理解模型的性能，捕捉其数量数据以及质量和复杂性的特征。该方法适用于各种偏见，并促进了文本数据的公正和道德使用。

Aug, 2023

基于 Transformer 的文本罪犯检测

研究通过探索三种基于 transformer 的语言模型在文本中检测负罪感的适用性，并比较它们在一般情绪检测和负罪感检测中的性能，发现我们提出的模型的性能较 BERT 和 RoBERTa 模型分别高出两点和一点。此外，通过对结果的定性分析，我们评估了模型在检测与 “羞愧” 等相关情绪方面的有效性，并分析了开发准确的负罪感检测模型所面临的挑战。

Jan, 2024

使用深度学习方法确定有毒评论和意外模型偏差最小化

使用 BERT 模型，通过对权重损失的加权处理，检测有毒评论并减少对包括种族、性别、宗教在内的身份特征的意外偏见。与传统的逻辑回归模型相比，经过微调的 BERT 模型在分类和偏见减少方面表现得更好，具有 89% 的准确率。

Nov, 2023

大规模语言模型中的偏见检测: Fine-tuned KcBERT

该论文研究了大型语言模型对社会性偏见的影响，特别是在韩语环境中，通过平衡数据分布和应用去偏的正则化方法，减少种族、性别以及种族偏见。

Mar, 2024