本文介绍了一种并发分类器错误检测方案（CCED），用于在大规模机器学习模型中使用并发的 ML 分类器检测错误。该方案已在两个广泛使用的大规模机器学习模型上实施和评估：用于图像分类的对比语言图像预训练 (CLIP) 和用于自然语言应用的双向编码器表示（BERT）。结果表明，使用比 CLIP 或 BERT 简单几个数量级的 Random Forest 分类器，可检测 95% 以上的错误。

Jun, 2023

我们提出了基于 LLMs 输出分布的数据污染检测方法 CDD，并通过修正 LLMs 输出分布的方法 TED，有效地检测和减轻数据污染的影响。实验结果表明，CDD 在准确度、F1 得分和 AUC 指标方面相对其他方法平均提升了 21.8％-30.2％，TED 在 24 种设置和 21 种污染程度下成功地减轻数据污染引起的性能下降高达 66.9％。实际应用中，我们发现 ChatGPT 在 HumanEval 基准中存在受数据污染的高风险。

Feb, 2024

通过 “从错误中总结” 的学习技巧，我们提出了继续从错误中演进的方法 (CEM) 来实现对大型语言模型的迭代改进，从而解决其知识缺陷问题。我们通过采集涉及问题相关的知识的多个数据源，进行连续、有针对性的知识更新和补充，同时开发了两种策略来构建补充训练集，以增强语言模型对语料库的理解能力并防止灾难性遗忘。通过广泛实验验证了该方法的有效性，最佳情况下，该方法使语言模型的准确性提高了 17.00%。

Apr, 2024

大规模语言模型在中文语法错误纠正任务中的表现及其问题的调查报告。研究发现大语言模型在自动评估指标方面表现不如之前的模型，并存在过度纠正的问题。此外，不同数据分布下大语言模型的表现也存在明显差异。这些发现表明需要进一步研究大语言模型在中文语法错误纠正任务上的应用。

Jul, 2023

ReaLMistake 是第一个错误检测基准工具，包含了 LLMs 的客观、实际和多样化错误。通过评估 12 种 LLMs 的错误检测器，发现 LLMs 的错误检测性能低于人类，并且解释不可靠，对提示的微小变化敏感而改进困难，同时改进 LLMs 的流行方法也不能提高错误检测性能。

Apr, 2024

利用大型语言模型作为解释器和评估器，可能提高汉语语法错误纠正任务的性能并减少主观性问题。该研究通过广泛实验和详细分析验证了这种思路和方法的有效性。

Feb, 2024

这项研究介绍了 ALCE，一个自动化 LLMs 引用评估的评测基准，通过自动度量三个维度 - 流畅度、正确性和引用质量，强调了更好的检索器、长文本 LLMs 等方向的改善空间。

May, 2023

大规模语言模型在文本生成方面产生了重大影响，难以区分机器和人类生成的文本的界限提出了新的挑战，而且阻碍了黑盒 LLMs 的准确检测方法。为了解决这些限制，提出了一种创新的框架 Distribution-Aligned LLMs Detection (DALD)，在没有源 LLMs 的准确日志的情况下，通过对公开可访问的高级模型（如 ChatGPT、GPT-4 和 Claude-3）的样本进行细化调优，实现了与未知源模型分布的同步，从而提高了检测能力和对快速模型迭代的韧性。

Jun, 2024

本研究介绍一种名为 DeCoGLM 的综合检测和纠错结构，通过使用 General Language Model (GLM) 为基础，提供了在单个模型中进行多任务学习的方法，并表明该结构在大型语言模型中的有效性，为语法纠错提供了一个有前途的方向。

May, 2024

该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

Feb, 2023