Nov, 2023

RELIC: 通过自一致性研究大型语言模型的回答

PDF
TL;DR为了解决大型语言模型生成的虚构和非事实内容的问题，我们提出了一种交互系统，通过多个样本的自一致性来评估生成文本中个别声明的置信度，从而帮助用户获取对生成文本可靠性的洞见。通过用户研究，我们证明了该方法有助于用户更好地验证生成文本的可靠性，并总结了该研究对于未来关于可靠人机对话的启示、设计影响和经验教训。
发现论文，激发创造
  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 大型语言模型中最小化事实不一致和幻觉

    提出了一个多阶段的框架，通过生成合理的依据并验证修正错误，将其作为支持参考生成答案，提高了 GPT-3.5-turbo 在生命科学行业药物相关查询中的响应质量。该框架使得 GPT-3.5-turbo 对两个数据集的答案更可靠和准确，并通过与商业模型进行竞争，提高了小型开放访问的 LLMs 的准确性。

    Nov, 2023

  • 评估大型语言模型知识的可靠性

    本文提出了一种名为 MONITOR 的新度量方法，用于直接衡量大型语言模型的事实可靠性，通过计算有效输出与同一模型使用不同类型提示和上下文进行探索所产生的对应输出之间的概率分布距离来评估模型的一致性。实验证明 MONITOR 对于评估大型语言模型的事实可靠性具有良好的效果，并且计算开销较低。此外，作者还发布了包含 210,158 个提示的 FKTC 测试集，以促进相关研究的开展。

    Oct, 2023

  • 大型语言模型中的用户可控知识融合：平衡创造性和幻觉

    本文提出了一种创新的用户可控机制，通过在 LLM 训练的微调阶段引入一个代表生成回答中对参考知识忠实程度的数值标签，综合利用 ROUGE 得分、Sentence-BERT 嵌入和 LLM 的自我评估得分来度量词汇重叠度和语义相似度，用户可以操作这一数值标签来控制 LLM 对外部知识的依赖程度，通过广泛的实验验证了该方法的适用性和有效性，强调了增强 LLM 的多功能性同时保持创造性和准确性平衡的潜力。

    Jul, 2023

  • 大型语言模型的语义一致性保障

    通过引入语义一致性的综合度量和提出的问询策略来提高大型语言模型在开放式文本生成和闭卷问题回答方面的性能。

    Aug, 2023

  • 学会相信自己的感受：在语言模型中利用自我意识缓解幻觉

    通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致性检查方法结合起来，以排名虚构偏好数据。通过使用知识偏好作为奖励，我们提出了一种从知识反馈中强化学习（RLKF）的训练框架，利用强化学习增强大型语言模型的真实性和诚实性。我们对多个模型进行的实验证明，RLKF 训练有效地增强了模型利用其内部知识状态的能力，在各种基于知识和诚实性的任务中提高了性能。

    Jan, 2024

  • 自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉

    探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。

    Feb, 2024

  • 大型语言模型能自我解释吗？

    利用自洽性检查作为一种忠实度测量，将其应用于大型语言模型自我解释的三种类型，即反事实解释、重要性度量和删除。通过不同任务和模型，发现忠实度是任务和模型相关的，例如对于情感分类，Llama2 的反事实解释、Mistral 的重要性度量和 Falcon 40B 的删除是更加忠实的。最后，我们的发现在提示变体方面是稳健的。

    Jan, 2024

  • 大规模语言模型在歧义下的自一致性

    在含糊的整数序列填充任务中，我们在 OpenAI 模型套件上进行了一系列行为实验，发现平均一致性介于 67％和 82％之间，远高于模型一致性随机的预测，并随着模型能力的提高而增加。此外，我们发现模型在自我一致性上具有不良标定性，并且通常倾向于在潜在的答案中分配显著的权重。

    Oct, 2023

  • 推理任务中大型语言模型产生幻觉的来源

    该论文通过对多个大型语言模型的行为研究发现，训练数据的记忆和频率偏好是导致生成式大型语言模型产生幻觉的两个主要因素，这些模型在自然语言推断等应用任务中表现出明显的问题。

    May, 2023