Aug, 2023

NBIAS：文本中的偏见识别的自然语言处理框架

PDF
TL;DR通过开发一个全面而健壮的框架 “Nbias”，我们能够检测和消除文本数据中的偏见，以确保数据的公正和道德使用。该框架包括数据层、语料库构建、模型开发层和评估层，并应用了基于 transformer 的标记分类模型识别具有独特命名实体的偏见词语 / 短语。通过定量和定性评估的混合方法，我们取得了 1% 至 8% 的准确率改进，同时还能全面理解模型的性能，捕捉其数量数据以及质量和复杂性的特征。该方法适用于各种偏见，并促进了文本数据的公正和道德使用。
发现论文，激发创造
  • 文本中当前的拓扑和机器学习应用于偏见检测

    本研究探索了大语言模型的嵌入和几何模型对偏见建模准确度的影响，利用 RedditBias 数据库分析文本偏见，在偏见分类上，BERT，尤其是迷你 BERT，表现出色，而多语言模型则表现较差。研究建议改进单语模型，并探索领域特定的偏见。

    Nov, 2023

  • 自然语言处理模型中的预测偏见：概念框架和概述

    文章提出了一种用于 NLP（自然语言处理）的预测性偏差框架，该框架将数据、模型、标签偏差、选择偏差、模型过度放大、语义偏差作为偏差的四个主要来源，并探讨了过去的工作是如何对抗每种偏差来源的，以期引导未来研究。

    Nov, 2019

  • 通过建模语料库中的偏见进行端到端偏见缓解

    本文提出了两种学习策略来训练神经模型，更加稳健，并且更能够迁移到域外的数据集。这些策略利用了数据集的偏差，通过 down-weighting 有偏差的例子，使基础模型减少对偏差的依赖。实验表明，我们的去偏差方法在所有设置中都显著提高了模型的稳健性，并且更好地迁移到其他文本蕴涵数据集上。

    Sep, 2019

  • 偏见中和框架：用偏见智商（BiQ）衡量大型语言模型中的公平性

    本文介绍了综合偏差中性化框架（CBNF），该框架创新性地对大型语言模型（LLMs）中的偏见进行量化和减轻，通过引入称为 BiQ 的新指标来检测、度量和减轻 LLMs 中的种族偏见，而无需依赖人口统计注释。此外，论文还展示了 Latimer AI 对比 ChatGPT 3.5 的详细分析，揭示了 Latimer AI 通过有针对性培训和精细的偏见缓解策略，在检测种族、文化和性别偏见方面的效果。

    Apr, 2024

  • 偏见关键词

    本研究提出了一种基于 NLP 方法的关键词分析的偏差分析方法，实验结果表明该方法在不同基准数据集上具有与现有先进方法相当的效果。

    Oct, 2022

  • 自然语言处理中偏差和公平性调查

    本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

    Mar, 2022

  • 解构国籍偏见：人们对 AI 生成文章中国籍的感知研究

    研究了自然语言处理（NLP）模型中的国籍偏见及其对公众看法的影响，并发现具有偏见的 NLP 模型会复制和放大现有社会偏见，导致人工智能系统的不公平和不正义，强调了公众看法在塑造人工智能对社会的影响中的关键作用以及纠正人工智能系统中的偏见的必要性。

    Aug, 2023

  • InterFair: 具有自然语言反馈的去偏见公平可解释预测

    该研究论文提出，自然语言处理模型中的去偏置方法应当使用敏感信息来实现公平去偏置，而不是盲目地消除它，为了实现公平平衡，研究人员建议采用能够与用户互动并提供反馈的交互式方法，从而在任务表现和偏置缓解之间实现更好和公正的平衡，并支持详尽的解释。

    Oct, 2022

  • 探究文本蕴涵数据集中的偏见

    本研究分析了 SNLI 和 MultiNLI 数据集中逻辑关系的数据偏差程度及其影响，并提出一种简单的方法来降低数据集中的数据偏差。我们发现仅对 SNLI 数据集中的假设进行分类，就能产生 64% 的准确率。

    Jun, 2019

  • 关于预训练神经语言模型中偏见性的加强理解：一项调查，特别关注情感偏见

    本文针对大型预训练语言模型中的偏差问题进行调研，分析了偏差发生在模型的哪些阶段以及如何量化和减轻影响。尤其是针对情感相关的偏差问题进行了探讨，旨在提供未来研究的参考和挑战。

    Apr, 2022