我们在 SemEval-2024 的 Hallucinations 和相关可观察生成错误的任务上提交了 SHROOM，要求进行流畅过度生成幻觉的二元分类。通过微调预训练模型和自然语言推理模型，并将这些模型进行集成，取得了 77.8% 和 79.9% 的准确率，相较于比赛中的顶尖结果 84.7% 和 81.3% 具有显著优势。

Apr, 2024

在这项研究中，我们正式定义了虚构，并提出了一种在零镜头环境中定量检测虚构的框架，利用我们的定义和模型输出包含任务和样本特定输入的假设。我们的解决方案在模型感知环境中实现了 0.78 的准确度，在模型无关环境中实现了 0.61 的准确度。值得注意的是，我们的解决方案保持了计算效率，比其他现有方法需要更少的计算资源，符合轻量化和压缩模型的趋势。

Mar, 2024

自然语言生成面临若干挑战，我们通过引入数据增强管道和投票集成来解决生成流畅但不准确以及过度依赖流畅度评测指标的问题。

Mar, 2024

该论文提出了一个名为 SHROOM 的共享任务的结果，该任务侧重于检测错谬流畅的自然语言生成（NLG）系统的输出，这种过度生成的情况严重威胁到许多 NLG 应用，其中正确性通常至关重要。共享任务采用了一个新构建的数据集，包含由 5 个注释员标记的 4000 个模型输出，覆盖了机器翻译、释义生成和定义建模的 3 个自然语言处理任务，共有 58 个不同用户组成的 42 个团队参与了该共享任务，其中 27 个团队选择撰写系统描述论文。我们观察到这种方法的多个关键趋势 -- 许多参与者依赖于少数模型，并且通常依赖于用于微调的合成数据或零 - shot 提示策略。虽然大多数团队的表现超过了我们提出的基准系统，但得分最高的系统的表现仍然与对更具挑战性项目的随机处理一致。

Mar, 2024

我们在 SemEval-2024 妄想检测任务中开发了新的系统，通过比较模型预测与参考标准，使用多种基线、通过监督学习改进预训练编码器以及使用几个高性能模型的集成方法，我们介绍了三种不同的方法，表现出强大的性能指标，并通过生成额外的训练样本来增加训练数据，此外，还提供了详细的比较分析，值得注意的是，我们的首要方法在比赛的模型无关轨道中获得了可称赞的第 9 名，模型感知轨道中获得了第 17 名，突显了其有效性和潜力。

Apr, 2024

该论文提出了 AutoHall 方法，通过自相矛盾的方式自动构建模型特定的幻觉数据集，然后基于这些数据集实现了无资源和黑盒幻觉检测方法，对开源和闭源大型语言模型进行了实验证明，在幻觉检测性能上优于现有基准模型，并且发现了不同模型之间的幻觉比例和类型的差异。

Sep, 2023

提出了一种通过评估翻译中源语言贡献百分比的方法，以解决神经机器翻译中出现的幻觉问题，并发现使用跨语言嵌入的句子相似性有助于提高检测精度。

Dec, 2022

通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

Oct, 2023

通过多个数据集和大型语言模型，包括 Llama-2，对该模型的幻觉水平进行广泛评估，并展示了我们的方法在自动检测幻觉方面的有效性，达到了 87% 的平衡准确率，而无需依赖外部知识。

Mar, 2024

通过分析相对标记的贡献来确定神经序列生成模型的幻觉内在模型症状，使用这些症状设计出一个轻量级的幻觉检测器，在手动标注的英中和德英翻译测试上优于基于质量估计或大型预训练模型的分类器。

Jan, 2023