Oct, 2023

通过知识增强和对齐提升基于知识的对话系统的事实一致性

PDF
TL;DRPLMs 基于知识驱动的对话系统存在生成与提供的知识源不一致的回应问题，本文通过知识增强和对齐两种方法有效提升了前馈网络（FFNs）在回应中表达事实知识的能力，验证了提升知识驱动对话系统的事实一致性的有效性。
pretrained language modelsknowledge-grounded dialogue systemsfactual knowledge expressionsfeed-forward networksfactual consistency
发现论文，激发创造
  • 基于大型语言模型的事实对话摘要

    通过使用符号知识蒸馏方法改善小型预训练模型的事实一致性，我们在对话摘要中取得了更好的事实一致性，同时保持了连贯性、流畅性和相关性。

    Jun, 2024

  • 提高回复和角色真实事实之间的事实一致性

    通过增加奖励机制，使用强化学习方法来提高响应与用户角色特征事实之间的一致性，从而促进神经模型的响应生成能力。

    Apr, 2020

  • 超越事实性：大型语言模型作为知识生成器的综合评估

    通过 CONNER 对大型语言模型在知识密集型任务中生成的知识进行综合评估，发现事实性的小错误并不会显著影响下游任务，因此相关性和连贯性比事实性更为重要。此外，研究还提出了通过 Prompt Engineering 和 Knowledge Selection 来改进知识密集型任务的方法。

    Oct, 2023

  • 通过事实一致性模型学习生成带有引文的答案

    提出了一种利用事实一致性模型进行弱监督微调的方法，通过在生成的文本中添加引用并使用经过过滤的引文数据进行监督微调，以提高生成的内容的可验证性，并在 ALCE few-shot 引文基准上展示了超过上下文学习、纯监督微调和最先进方法的平均提高，同时在领域转移设置中表明所得到的引文生成能力在未见过的数据集上具有稳健性，并且在基线对比中具有最低的事实错误率。

    Jun, 2024

  • FLAME: 大型语言模型的事实感知对齐

    通过对 pre-trained large language models 进行 factual-aware SFT 和 factual-aware RL 的直接优化，使其在保持指令遵循能力的同时，输出更多真实的回应。

    May, 2024

  • 针对事实性的语言模型微调

    通过利用外部知识库的一致性或大模型的置信度，以及直接优化算法，我们在不需要人工标注的情况下，对语言模型进行微调，明显提高了生成候选项的正确性，并比对准确性进行了目标定向的 RLHF 和解码策略有显著改善。

    Nov, 2023

  • 通过少量专家示范融合奖励函数，实现忠实准确的知识导向对话生成

    开发值得信赖的对话式信息搜索系统依赖于能够基于相关知识文本生成忠实准确响应的对话模型。我们通过引入一种新的奖励函数利用强化学习算法来克服数据偏见和冗余信息的两个主要挑战，并在两个对话式信息搜索数据集上的实证实验中展示了我们的方法可以与其他强大的监督学习基准相竞争。

    Nov, 2023

  • 大型语言模型中的事实知识系统评估

    通过利用知识图谱 (KGs) 来系统评估大型语言模型 (LLMs) 的事实知识，本文提出了一个框架。我们的框架通过从给定 KG 中存储的事实自动生成一组问题和预期答案，然后评估 LLMs 回答这些问题的准确性。我们在通用和特定领域系统评估了最先进的 LLMs，实验证明 ChatGPT 在所有领域中始终是最佳表现者。我们还发现 LLMs 的表现取决于指导微调、领域和问题的复杂性，并且容易受到对抗性环境的影响。

    Oct, 2023

  • $Q^{2}$：通过问题生成和问题回答评估基于知识的对话中的事实一致性

    本研究提出了一种用于对话中基于知识的生成模型的事实一致性评估度量，通过结合自动问题生成和问题回答，使用自然语言推理进行回答跨度比较。在 Wizard-of-Wikipedia 数据集上，我们得到了经过人工标注的对话系统输出数据集，并对 $Q^2$ 和其他度量标准进行了彻底的元评估，结果显示它与人类判断具有更高的相关性。

    Apr, 2021

  • 关于从自然语言反馈中提高摘要的事实一致性

    本文中，我们对自然语言生成功能的输出质量提出问题，通过收集人类演示和信息反馈数据集 DeFacto，我们进行了两项自然语言生成任务的研究，旨在通过实现信息反馈来提高自然语言生成模型的质量，改善与用户需求的匹配度。

    Dec, 2022