众包标签深度学习：交叉熵最小化、可识别性和正则化

ICLRJun, 2023

众包标签深度学习：交叉熵最小化、可识别性和正则化

Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization

Shahana Ibrahim, Tri Nguyen, Xiao Fu

TL;DR本文提出了一种基于深度学习的端到端系统，利用嘈杂的众包标签，通过多个注释器特定的 label confusion 层和参数耦合的方式，与神经分类器同时学习标签纠正机制，并提出了 CCEM 的正则化变种，以增强目标模型参数的可识别性。

Abstract

Using noisy crowdsourced labels from multiple annotators, a deep learning-based end-to-end (E2E) system aims to learn the label correction mechanism and the neural classifier simultaneously. To this end, many E2E systems concatenate the neural classifier with multiple annotator-specifi

noisy crowdsourced labels deep learning end-to-end system label confusion cross-entropy minimization

发现论文，激发创造

耦合混淆纠正：从带有稀疏注释的众包中学习

采用耦合混淆校正的方法对众包注释进行学习，通过双层优化，使模型能够更好地校正系统学习到的混淆矩阵，同时根据注释者群体的相似性进行聚类，从而更好地捕捉注释者的专业知识，特别是对于很少提供标签的注释者。此外，使用 Beta 分布来生成众包注释，以使合成注释与真实世界的注释更一致。大量实验表明，该方法明显优于现有的方法。

Dec, 2023

U-CE: 语义分割的不确定性感知交叉熵

利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

Jul, 2023

众包深度学习

本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

Sep, 2017

基于置信度的部分标签学习模型用于众包标注命名实体识别

使用 CPLL 模型整合多注释者标签和先验、后验置信度，通过 EM 算法学习标记和内容相关的置信度，以解决命名实体识别中多注释者标签一致性问题，并在实际和合成数据集上得到有效提升。

May, 2023

带有噪声标签的鲁棒学习的对称交叉熵

本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

Aug, 2019

CLCE：优化学习融合的交叉熵和对比学习的改进方法

我们介绍了一种名为 CLCE 的新方法，将标签感知对比学习与 CE 相结合，通过有效的负样本挖掘增强性能，在少样本学习和迁移学习中使得 CLCE 显著优于 CE。

Feb, 2024

对比学习提高模型在标签噪声下的鲁棒性

本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题，通过代替分类交叉熵损失为适应标签噪声的损失函数，或者改变训练样本的权重来缓解标签噪声的影响，并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。

Apr, 2021

面向实体中心信息抽取的噪声标签学习

本文研究信息提取中遇到的嘈杂标签问题，提出了一个共同正则化框架来解决这个问题，该框架基于识别嘈杂标签需要更多训练步骤且更容易被忘记的性质，在 TACRED 和 CoNLL03 这两个嘈杂基准数据集上进行了广泛的实验，并发布了代码供未来研究使用。

Apr, 2021

众包的正则化极小极大条件熵

本文提出了一种利用极小化最大条件熵原理从嘈杂的众包标签中推断出真实标签的独特概率标记模型，该模型考虑到了工人能力和项目难度等因素，并提出了客观测量原则验证。

Mar, 2015

基于成本敏感正则化的标签混淆感知事件检测

本文提出基于成本敏感正则化的监督事件检测方法，针对小部分混淆类型对之间的错误标签问题，引入成本加权项和两种衡量标签混淆的估算器显著提高了英语和汉语事件检测的表现，实验过程使用了 TAC-KBP 2017 数据集。

Jun, 2019