我们在 SemEval-2024 的 Hallucinations 和相关可观察生成错误的任务上提交了 SHROOM，要求进行流畅过度生成幻觉的二元分类。通过微调预训练模型和自然语言推理模型，并将这些模型进行集成，取得了 77.8% 和 79.9% 的准确率，相较于比赛中的顶尖结果 84.7% 和 81.3% 具有显著优势。

Apr, 2024

本研究探索了通过比较生成文本与事实参考之间的语义相似性以及互相评判的语言模型集成方法来检测虚构的方法，并指出了虚构检测的挑战以及进一步研究的必要性。

Apr, 2024

该论文提出了一个名为 SHROOM 的共享任务的结果，该任务侧重于检测错谬流畅的自然语言生成（NLG）系统的输出，这种过度生成的情况严重威胁到许多 NLG 应用，其中正确性通常至关重要。共享任务采用了一个新构建的数据集，包含由 5 个注释员标记的 4000 个模型输出，覆盖了机器翻译、释义生成和定义建模的 3 个自然语言处理任务，共有 58 个不同用户组成的 42 个团队参与了该共享任务，其中 27 个团队选择撰写系统描述论文。我们观察到这种方法的多个关键趋势 -- 许多参与者依赖于少数模型，并且通常依赖于用于微调的合成数据或零 - shot 提示策略。虽然大多数团队的表现超过了我们提出的基准系统，但得分最高的系统的表现仍然与对更具挑战性项目的随机处理一致。

Mar, 2024

我们在 SemEval-2024 妄想检测任务中开发了新的系统，通过比较模型预测与参考标准，使用多种基线、通过监督学习改进预训练编码器以及使用几个高性能模型的集成方法，我们介绍了三种不同的方法，表现出强大的性能指标，并通过生成额外的训练样本来增加训练数据，此外，还提供了详细的比较分析，值得注意的是，我们的首要方法在比赛的模型无关轨道中获得了可称赞的第 9 名，模型感知轨道中获得了第 17 名，突显了其有效性和潜力。

Apr, 2024

通过使用大型语言模型进行提示程序设计和上下文学习来构建大学智能数据工程实验室团队参与 SemEval-2024 任务 6 竞赛的 SHROOM-INDElab 系统，该系统在上下文特定任务、角色和目标概念的定义以及自动生成示例的基础上，扩展了对幻觉检测的分类器的先前工作，并在模型无关和模型感知的任务中获得了第四和第六的性能，与众包人工标注的验证集一致，发现零样本方法提供了比使用自动生成示例的 few-shot 方法更好的准确性。

Apr, 2024

该论文主要描述了一个统一的系统，用于检测 LLM 的幻觉，该系统在 SemEval-2024 任务 6 的模型不可知轨道中获得了第二名，并在模型感知轨道中取得了可观的结果。

Feb, 2024

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

在这份调查中，我们旨在对大型语言模型（LLM）幻像领域的最新进展进行全面而深入的概述。我们从 LLM 幻像创新分类入手，然后深入探讨了导致幻像的因素。接下来，我们全面介绍了幻像检测方法和基准。此外，我们还相应介绍了用于减轻幻像的代表性方法。最后，我们分析了突出当前限制的挑战，并制定了未来 LLM 幻像研究的开放问题，旨在描绘发展方向。

Nov, 2023

该论文通过对多个大型语言模型的行为研究发现，训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素，这些模型在自然语言推断等应用任务中表现出明显的问题。

May, 2023

这篇论文通过深入探讨大型语言模型在幻觉方面的行为，定义了一种基于标记的方法以识别不同类型的幻觉，并进一步利用这种标记方法提高对话摘要任务中语言模型的可解释性和忠实度，同时提出了一个新的改进数据集和训练范式。

Dec, 2023