EMNLPNov, 2022

从大型预训练模型中引导知识，以实现无监督的知识驱动对话

PDF
TL;DR本文探究了大规模预训练在知识引导对话中的应用。通过各种方法获取大型模型的知识，利用后验重加权和嘈杂训练策略进一步挖掘其价值，并在两个基准数据上进行了实验，结果表明其优于现有的最新方法。
large-scale pre-trainingknowledge basesunsupervised knowledge-grounded conversationdialogue generationnoisy training strategy
发现论文，激发创造
  • 基于预训练语言模型的知识驱动对话生成

    我们使用预训练的语言模型来研究基于知识的对话生成，通过知识选择模块和无监督方法来优化知识选择和响应生成，实验结果表明，我们的模型在自动评估和人类判断方面都显著优于现有方法。

    Oct, 2020

  • 预训练语言模型是否可应用于基础开放领域对话？

    通过使用预训练语言模型，我们尝试研究知识相关对话生成的相关性，发现在使用仅包含少量知识对话的细调过程中，预训练语言模型可以超越需要外部知识的最先进的模型，在自动评估和人类判断方面表现更好。

    Nov, 2020

  • 无监督的后置知识注入实现会话目标

    本文介绍了一种基于后处理的知识注入技术，该技术从外部源中提取相关知识，并将其合并到对话响应中，实验表明使用这种方法可以在目标导向和基于知识的对话环境中实现更具吸引力和更丰富的对话响应。

    Mar, 2022

  • 基于知识的文本生成中的对话型大型语言模型的比较分析

    通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析，我们发现对于从语义三元组生成自然语言文本，少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力，尤其对于表现出低零样本性能的较小模型。

    Feb, 2024

  • 评估大型语言模型用于知识图谱上的语义解析对话问答

    评估了没有在此任务上进行明确预训练的大型语言模型的性能，并通过一系列实验在广泛的基准数据集上比较了具有不同提示技术和不同大小的模型，并确定了生成输出中的常见问题类型。结果表明，大型语言模型能够从对话中生成图查询，并通过少样本提示和微调技术实现显著提升，特别是对于展现较低零样本性能的较小模型。

    Jan, 2024

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 增强 LLMs 与知识：关于幻觉防止的调查

    将预训练语言模型与外部知识源相结合，可以增强其上下文处理能力，克服传统语言模型的问题，如错觉、无依据的回答和可拓展性挑战。

    Sep, 2023

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • 使用小型模型进行非监督自然问答

    本文描述了一个架构，利用原始外部知识，基于无监督学习的技术，使得更小的模型可以回答与事实有关的问题，其目的在于能够显式地添加知识，而无需进行大量的训练。

    Nov, 2019

  • 走向利用大型语言模型实现对会话基础的理解

    这篇实验研究分析了信息寻求对话中大型语言模型在分类明示或隐含对话转换以及预测对接知识元素方面的能力，并揭示了大型语言模型在这两个任务中遇到的挑战，讨论了通过流程架构和知识库改进大型语言模型的对话接地理解的研究工作，在对话中处理对接知识的复杂性方面，旨在开发更加有效的对话系统。

    Jun, 2024