label errors | BriefGPT - AI 论文速递

关键词label errors

搜索结果 - 7

利用不确定性量化改进标签错误检测与消除
通过使用基于不确定性量化的线标错误检测算法（UQ-LED），本研究展示了选择性清理数据集比使用更大、更嘈杂的数据集能够实现更准确的分类。
PDF2 months ago
揭示和提升数据可信度：用于训练无害语言模型的数据集研究
本研究专注于评估数据集的可信度，鉴定标签错误，并评估噪声标签对语言数据的影响，特别关注不安全评论和对话分类，通过直接修复标签错误来显著提高数据的可信度和下游学习性能，说明清理现有的真实世界数据集的重要性。
PDF8 months ago
朝着可靠的皮肤病评估基准
数字皮肤病学中的基准数据集不知不觉地包含了不准确的信息，这减少了对模型性能评估的信任。我们提出一种资源高效的数据清洗协议，用于识别之前筛选中遗漏的问题。该协议利用现有的算法清洗策略，并在直观的终止准则下进行确认过程。基于多位皮肤科医生的确认
PDF10 months ago
在标记分类数据中检测标签错误
本文研究了在标记分类数据集中寻找包含标签错误的句子的方法，并通过在 CoNLL-2003 的实体识别数据中进行的准召率评估，确立了一种简单有效的方法，能够用于该任务。
PDF2 years ago
EMNLP利用预训练语言模型检测标签错误
该研究表明，大型预训练语言模型本质上具有高度识别自然语言数据集中标签错误的能力：仅通过按微调任务损失的降序检查样本数据点，可显著优于先前工作中提出的更复杂的错误检测机制。此外，研究对引入 SNLI 和 TweetNLP 等现有众包数据集中真
PDF2 years ago
测试集中普遍出现标签错误，破坏机器学习基准
利用自信学习算法和众包验证方法发现了 10 个常用计算机视觉、自然语言和音频数据集的测试集中的标签错误问题，并探讨了这些标签错误对基准结果的影响以及建议应该使用经过正确标注的测试集来评估模型的有效性，对于高比例的标记错误的现实世界数据集，低
PDF3 years ago
ACLTACRED 重访：对 TACRED 关系抽取任务的全面评估
本文研究了 TACRED 数据集在关系抽取中高错误率的问题，通过训练标注者重新标注，了解了错误来源，发现部分标注错误和数据集中存在的歧义关系导致错误率高，对此提出对应解决方案，并验证了三种最先进的 RE 模型的错误假设。
PDF4 years ago