ACLJul, 2023

回答带有虚假前提的问题

PDF
TL;DR本文发现预训练语言模型内部已经拥有反驳谣言的所需知识，只需要激发其反驳能力，通过 fine-tuning 可以在少量示例（例如 256 个）的情况下区分虚假前提问题，并生成合理的反驳解释。
pre-trained language modelsquestion answering systemsfalse premises questionsrebuttal abilityfine-tuning
发现论文，激发创造
  • 预先训练的语言模型是否具备演绎推理能力？

    本文对预训练语言模型的可学习演绎性能进行了全面评估，发现该模型存在推理规则泛化不足、对表面形式的修改表现不稳定、在推理过程中出现遗忘现象等问题，说明预训练语言模型对于演绎推理的表现仍不可靠，远未达到人类的推理能力。

    Oct, 2022

  • 给我事实！关于预训练语言模型的事实知识探测调查

    对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。

    Oct, 2023

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 预训练语言模型的事实知识校准

    本文提出了一种简单轻量级的方法 CaliNet，用于校准预训练语言模型（PLMs）中所保存的事实性知识，试图解决当前存储知识的准确性问题， 这一方法通过知识探测任务的实验表明其效率及有效性，并且经过微调后， 其校准后的 PLM 具有良好的知识泛化能力，并且我们还进一步研究了知识校准机制。

    Oct, 2022

  • 英国女王并非英国的女王：关于基于语言模型的事实连贯性缺失

    在本研究中，我们考虑了预训练语言模型（PLMs）中的实际知识的一种补充性特征，即 PLMs 中实际知识的连贯性。我们的结果表明，PLMs 在使用手动编写的、优化的和改写的提示时具有较低的连贯性，但包含证据段落则会有显著改善。这表明 PLMs 未能建模逆关系，并需要进一步增强才能以连贯的方式处理从其参数中检索事实，并被视为知识库。

    Feb, 2024

  • 生成式预训练语言模型可作为封闭式问答知识库吗？

    本研究探索了使用预训练语言模型作为知识库回答开放性问题的方法，构建了一个新的 SQuAD 数据集对 BART 进行了评估，并发现对 BART 来说，在高精度记忆训练事实和回答封闭式问题方面存在挑战，需要将知识记忆过程与 QA 微调过程分开，强制模型在回答问题时记住相关知识。

    Jun, 2021

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 评估心理健康问答分类基础模型的有效性

    这项研究评估了基础模型在心理健康护理问题和回答分类中的效果，并发现预训练语言模型（PLMs）在捕捉语义意义方面具有非常好的结果，对于阿拉伯语的心理健康支持具有很大的潜力。

    Jun, 2024

  • 利用问题前提在视觉问答中的潜力

    研究图片问题中的前提条件，构建了 Question Relevance Prediction and Explanation（QRPE）的数据集，并利用其训练了新颖的问题相关度检测模型，发现比使用传统模型更加有效。同时，在训练期间要求模型关注前提条件可以提高任务性能。

    May, 2017

  • 预训练语言模型如何捕捉事实知识？因果启发式分析

    本文通过因果分析量化和评估 PLMs 依靠生成缺失字词的单词级模式来回答 PLMs 如何正确生成结果这一谜团并发现 PLMs 更倾向于依靠与缺失字词位置接近和高频共现的单词而非知识依赖型的单词，从而得出 PLMs 因为依靠不充分的关联而效率低下地捕捉实际知识的结论。

    Mar, 2022