Oct, 2022

噪音审计改善道德基础分类

PDF
TL;DR本文提出了两种度量标准，即实例标签的熵和附注器分配给实例的标签的轮廓系数，以诊断标注噪声。在三个广泛使用的道德基础数据集上的实验表明，根据提出的度量标准删除噪声标记可以提高分类性能。
moral classificationnatural language processingannotation noiseentropysilhouette coefficient
发现论文，激发创造
  • 通过噪声建模实现文本分类标签噪声的鲁棒性

    该论文研究了 NLP 中文本分类的标签噪声问题，提出了一种基于 beta 混合模型的辅助噪声模型，通过此模型可以减轻标签噪声对分类器的影响，提高分类准确率并防止过度拟合。

    Jan, 2021

  • 数据质量对图像分类公平性的影响

    本研究探讨了在监督式分类的情况下，训练数据的质量与通过这些数据训练的模型的整体公平性之间的关系，并测量了多个图像分类数据集上多个算法的关键公平度量，同时描绘和添加数据中的噪声以及对训练集数据进行标记的不准确性与标记噪声之间的关系。

    May, 2023

  • 道德基础 Reddit 语料库

    本文介绍了一种基于 Moral Foundations Theory 框架的 Moral Foundations Reddit Corpus，该语料库可以用于通过自然语言处理和计算方法提取 8 种品德情感，并提供了基于该语料库的分类结果。

    Aug, 2022

  • MoralBERT：社会话语中道德价值的检测

    通过精心设计的 MoralBERT 模型，结合社交媒体平台的标注道德数据，探索了道德预测及领域适应技术在理解有争议的社会议题上的应用，结果表明在领域内的预测模型明显优于传统模型，但领域外的泛化仍需进一步探索。

    Mar, 2024

  • 语言模型对道德的理解？走向鲁棒的道德内容检测

    使用大规模语言模型和自然语言推理模型训练获得的抽象概念和常识知识，我们研发了多领域道德价值检测的多功能和强大方法，其中采用 GPT 3.5 模型作为基于零样本的无监督多标签道德价值分类器，消除了对标记数据的显式训练需求。与较小的基于自然语言推理的零样本模型相比，结果显示自然语言推理方法在性能上与 Davinci 模型不相上下。此外，我们对在不同领域训练监督模型以探索其在处理来自不同源的数据时的效果，并将其与无监督方法进行比较的性能进行了详细的调查分析。推广了一种无监督道德价值检测的最新零样本模型 Davinci，并与监督模型进行了比较评估，从而突破了道德价值检测的极限，无需显式训练标记数据，并揭示了各自的优势和劣势。

    Jun, 2024

  • 通过实例加权学习适应道德价值观的域漂移

    本研究旨在研究道德价值观和语言使用在社交媒体文本中的领域移位，检验其对道德分类任务的影响，并提出了一种神经适应框架。通过实例加权来提高跨领域分类任务的性能，研究结果表明，在 7 个社会运动中，微调后的任务获得高达 12.1％的性能改善，而使用 COVID-19 疫苗作为例子的细化研究得到了 5.26％的性能提升。

    Apr, 2022

  • 从有偏毒性标签学习的实证研究

    本研究探讨不同训练策略如何利用少量人工注释标签和大量但带有偏见的合成标签（针对身份群体）来预测在线评论的毒性，并评估了这些方法的准确性和公正性。虽然最初使用所有数据进行训练并在干净数据上微调能够产生具有最高 AUC 的模型，但同时我们发现没有一种策略在所有公正度量标准上表现最佳。

    Oct, 2021

  • 分类中的噪音标签处理：一项调查

    对于计算机视觉任务尤其是图像分类任务，本综述全面回顾了应对噪声标签的不同深度学习方法的演变，研究了不同的噪声模式，并提出了一种由现实世界数据引导的算法来生成合成标签噪声模式，以形成一个新的以真实世界数据为指导的合成基准，并在该基准上评估了一些典型的噪声鲁棒方法。

    Apr, 2024

  • 标签噪音校正对机器学习公正性影响的系统分析

    通过实证方法，我们评估了六种标签噪音修正方法在多个公正度度量标准上的表现，结果表明混合标签噪音修正方法在预测性能和公正度之间取得了最佳平衡，而基于聚类的修正方法可以最大程度地减少歧视但降低了预测性能。

    Jun, 2023

  • 处理 BERT 文本分类中的现实标签噪声

    本文研究了标签噪声对 BERT 在监督分类任务中的影响，发现现实标签噪声可以严重降低 BERT 的分类性能，探讨了如何使用集成方法和噪声清洗方法来提高模型的稳健性。

    May, 2023