本文研究了基于神经检索的循环架构在知识驱动的对话中的应用,将多个组件(检索器、排名器和编码器 - 解码器)结合在一起以最大化可知性并保留对话能力,在两个知识驱动的对话任务中实现了最先进的性能,并经过人工评估证实,大大减少了在最先进的聊天机器人中存在的知识幻觉问题。
Apr, 2021
基于 TREC CAsT 基准数据集,我们提出了一种基于生成式 AI 模型的信息检索方法,通过逐步聚合句子级别的分类预测来估计最终的可回答性,从而解决系统信任度以及问题回答精准性的挑战。
Jan, 2024
揭示了大型语言模型存在的幻觉问题,通过整合外部知识与提示信息,检验了检索增强生成(RAG)的能力,实验证明 RAG 在某些情况下能提高准确性,但仍然可能受到与模型预训练理解相抵触的提示的误导,研究结果强调了幻觉的复杂性以及确保大型语言模型在实际应用中可靠性的更强大解决方案的必要性,并提供了 RAG 部署的实用建议和对更值得信赖的大型语言模型开发的影响。
Mar, 2024
为 Adobe 产品建立内部问答系统,提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法,展示了微调检索器在最终生成中带来的重大改进,降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。
Apr, 2024
提出了一种利用检索增强生成(RAG)的系统来改进结构化输出质量、减少生成 AI 中的幻觉,并提高 LLM 在领域外场景中的泛化能力的企业应用部署方法。
本文概述了检索增强型文本生成的一般范式,为了实现未来的研究,回顾了不同任务中值得注意的方法,包括对话响应生成,机器翻译和其他生成任务,并指出一些关键方向。
Feb, 2022
通过信息检索迭代修订思维链能够显著提高大型语言模型在长期生成任务中的推理和生成能力,同时极大地减少错误生成。
利用幻觉增强吟诵(HAR)的对抗控制生成数据集方法,改进了大语言模型的归属度,提高了开放式问题回答的性能。
Nov, 2023
本文提出了一种混合神经对话模型,其结合了检索和生成方法的优点,并经实验证明其在 Twitter 和 Foursquare 数据上优于检索方法和生成方法(包括最近提出的基于知识的神经对话模型),这将为构建对话系统提供新的思路。
Apr, 2019
我们提出了一种新颖的方法,通过从一系列支持文件中选择上下文相关的短语来生成文本,并使用语言学启发式方法初始化训练阐述,并通过迭代的自我增强来加强训练阐述。实验证明,与标准语言模型相比,我们的模型在各种知识密集型任务上不仅表现出色,而且在开放式文本生成中表现出更高的生成质量。我们的模型在 OpenbookQA 上将准确性从 23.47% 提高到 36.27%,在开放式文本生成中的 MAUVE 得分从 42.61% 提高到 81.58%。值得注意的是,我们的模型在几个检索增强基准中实现了最佳性能和最低延迟。总之,我们断言检索是更准确的生成,并希望我们的工作能够鼓励进一步研究这一新的转变。
Feb, 2024