Mar, 2024

抱歉，请再说一遍？提示 - 通过注入 [PAUSE] 的最佳改述提高理解力和减少幻觉

PDF
TL;DR通过优化改写和注入 [PAUSE] 令牌以推迟模型生成，本研究针对大型语言模型（LLMs）的幻觉问题引入了 Sorry，Come Again（SCA）提示方法，通过增强理解能力来避免 LLMs 的幻觉问题。
hallucinationlarge language modelspromptslinguistic nuancescomprehension
发现论文，激发创造
  • 通过自我反思来缓解大型语言模型中的幻想

    通过与大规模语言模型和数据集合作，本文分析了医学生成型问答系统中幻觉现象的问题，并提出了一种交互自我反思的方法来解决该挑战，最终实验证明该方法在幻觉减少方面优于基线模型。

    Oct, 2023

  • 使用带标记的上下文提示捕捉 LLM 幻觉

    本文提出了一种新颖的方法来识别和标记 LLMs perform out of knowledge 的情况，并确保用户获得准确的信息。通过使用上下文和嵌入标签，可以成功地消除生成语言模型中的幻觉。在对测试生成引擎的问题提示进行上下文基线幻觉频率时，观察到了整体幻觉的显着减少。

    Jun, 2023

  • 稳健语言模型的提示扰动一致性学习

    大型语言模型对于自然语言处理任务表现出色，但在序列标注任务（如意图分类和槽位填充）中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法，Prompt Perturbation Consistency Learning（PPCL），成功地提高了序列标注任务的性能，并且使用更少的数据样本击败了数据增强方法。

    Feb, 2024

  • 探索 LLM 幻觉与提示语言细微差别之间的关系：可读性，形式性和具体性

    通过这项初步的探索性调查，我们研究了引导语言因素（特别是可读性、正式性和具体性）对幻觉出现的影响，实验结果表明，具有更大正式性和具体性的引导往往导致较少的幻觉出现，然而与可读性相关的结果并不确定，呈现了混合模式。

    Sep, 2023

  • 大型语言模型的上下文忠实提示

    本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

    Mar, 2023

  • 监督式提示训练

    通过使用监督性提示训练（Supervisory Prompt Training）方法，我们提出了一种新颖的方法，可以自动地生成高效的提示，从而提高大型语言模型（LLMs）的性能和减少幻觉，为传统的模型微调提供了一种高效且可扩展的替代方案。

    Mar, 2024

  • 重述与回应：让大型语言模型为自己提出更好的问题

    介绍了一种名为 “重述和回答”（RaR）的方法，通过使人类的问题被大型语言模型（LLMs）重述和展开，从而在单个提示中提供回答，以提高 LLM 的性能。还介绍了 RaR 的两步变体方法，通过将问题由一个 LLM 重述后传递给另一个 LLM，有效地利用了由一个 LLM 生成的重述问题。实验证明这些方法显著提高了不同模型在各种任务上的性能，并与 Chain-of-Thought（CoT）方法进行了综合比较，发现 RaR 与 CoT 互补，结合使用效果更好。该工作不仅对提高 LLM 性能具有高效和有效的贡献，还对公正评估 LLM 能力具有重要意义。

    Nov, 2023

  • 大型语言模型中幻觉缓解技术的综合调查

    这篇论文综述了 32 种技术，旨在减轻大型语言模型中的幻觉问题，其中包括检索增强生成、知识检索、CoNLI 和 CoVe 等方法，并提出了基于数据集利用、常见任务、反馈机制和检索器类型等参数的分类方法，以区分专门设计用于解决大型语言模型幻觉问题的各种方法。此外，还分析了这些技术中存在的挑战和局限性，为未来研究提供了坚实的基础。

    Jan, 2024

  • 金融决策者的减少幻觉的数据到答案框架

    通过利用 Langchain 框架将数据表转化为分层文本数据块，本研究提出了一种新颖的方法来解决数据表重型领域（如金融决策）中的自动问答问题，实现针对各种用户查询生成定制化的语言模型提示，并在幻觉和响应置信度方面进行了多度量标评估。该系统在用户查询响应方面取得了超过 90% 的置信度，并可应用于其他分析领域以确保最佳幻觉控制保障。

    Nov, 2023

  • 大型语言模型是零样本学习者

    通过使用不存在于上下文提供的信息指导大型语言模型利用幻觉来执行任务，在大多数数据集中提高性能，并检测存在于不同模型的幻觉程度。

    Jan, 2024