Jun, 2023

大规模机器学习系统中的并发分类器错误检测（CCED）

PDF
TL;DR本文介绍了一种并发分类器错误检测方案（CCED），用于在大规模机器学习模型中使用并发的 ML 分类器检测错误。该方案已在两个广泛使用的大规模机器学习模型上实施和评估：用于图像分类的对比语言图像预训练 (CLIP) 和用于自然语言应用的双向编码器表示（BERT）。结果表明，使用比 CLIP 或 BERT 简单几个数量级的 Random Forest 分类器，可检测 95% 以上的错误。
machine learningconcurrent error detectionclassifierimage classificationnatural language applications
发现论文，激发创造
  • 大语言模型的并发语言错误检测 (CLED)

    基于提取语言模型生成的文本的某些语言特征并将其输入到并发分类器中以检测错误的并发语言错误检测 (CLED) 方案可以在无法访问内部节点的 LLMs 上使用，并且可以在新闻摘要和翻译等不同任务上应用。

    Mar, 2024

  • CSED: 一个中文语义错误诊断语料库

    本研究旨在解决中文语义错误诊断（CSED）的问题，构建了 CSED 语料库，并且提出了一种针对 CSED 任务的基于句法的模型，该模型表现显著优于常规模型。

    May, 2023

  • 泛化还是记忆：大型语言模型的数据污染与可信评估

    我们提出了基于 LLMs 输出分布的数据污染检测方法 CDD，并通过修正 LLMs 输出分布的方法 TED，有效地检测和减轻数据污染的影响。实验结果表明，CDD 在准确度、F1 得分和 AUC 指标方面相对其他方法平均提升了 21.8％-30.2％，TED 在 24 种设置和 21 种污染程度下成功地减轻数据污染引起的性能下降高达 66.9％。实际应用中，我们发现 ChatGPT 在 HumanEval 基准中存在受数据污染的高风险。

    Feb, 2024

  • 基于预测误差的增量式分类学习

    该研究提出了一种新方法，基于预测误差的分类（PEC），用于解决类递增学习中的遗忘和不平衡问题。实验结果表明，PEC 在单次数据通过的 CIL 中表现出色，能够在多个基准测试中优于其他无重复排练基线和中等重放缓冲区大小的重放基础方法。

    May, 2023

  • 面向中文文本纠错的渐进式多任务学习框架

    本文提出一种基于多任务学习的 CTEC 框架 ProTEC 来解决预训练语言模型在 CTEC 中产生的过度或欠度修改问题。该框架将 CTEC 任务分为三个子任务：错误检测、错误类型识别和更正结果生成，并通过多任务学习逐步引导模型从易到难地学习，有效地提高了 CTEC 任务的效果和效率。

    Jun, 2023

  • 大型语言模型能从错误中持续演进

    通过 “从错误中总结” 的学习技巧，我们提出了继续从错误中演进的方法 (CEM) 来实现对大型语言模型的迭代改进，从而解决其知识缺陷问题。我们通过采集涉及问题相关的知识的多个数据源，进行连续、有针对性的知识更新和补充，同时开发了两种策略来构建补充训练集，以增强语言模型对语料库的理解能力并防止灾难性遗忘。通过广泛实验验证了该方法的有效性，最佳情况下，该方法使语言模型的准确性提高了 17.00%。

    Apr, 2024

  • 跨 CPU 架构的内存故障预测研究

    大规模数据中心中的内存故障和无法纠正错误发生率之间的相关性，在不同的 CPU 架构中进行了调查和分析。利用机器学习技术在不同的处理器平台上进行了内存故障预测，并相比现有算法提高了 15% 的 F1 分数。最后，提供了一个 MLOps 框架，以在生产环境中持续改进故障预测。

    Jun, 2024

  • DeepCDCL: 基于 CDCL 的神经网络验证框架

    提出了基于冲突驱动子句学习算法的新型神经网络验证框架 DeepCDCL，通过引入异步子句学习和管理结构，与直接应用 CDCL 框架相比，减少了冗余的时间消耗。同时，在 ACAS Xu 和 MNIST 数据集上对我们的方法的性能进行了详细评估，显示在大多数情况下实现了显著加速。

    Mar, 2024

  • ActiveAED: 人在循环中改善注释错误检测

    本文提出了 ActiveAED 的 AED 方法，可在预测循环中反复查询人类进行错误修正，从而更准确地检测错误，并在八个数据集中获得了提高的结果。

    May, 2023

  • RED-ACE: 使用置信度嵌入的 ASR 鲁棒性错误检测

    该研究提出了一种基于自动语音识别 (ASR) 系统的置信得分，改善 ASR 误差检测 (AED) 模型的性能，并证明了这种置信得分的补充作用以及 ASR Confidence Embedding 的有效性和鲁棒性，并发布了一个包含有标记的 LibriSpeech 语料库的 ASR 输出的新型 AED 数据集。

    Mar, 2022