Apr, 2024

LLM 的阅读理解受参数性知识影响，对假设陈述难以理解

PDF
TL;DR使用虚构的事实和实体构建虚构数据进行阅读理解的评估来避免模型内部知识的干扰，发现了一类语言现象，即在考虑替代和假设情境时当前语言模型容易出错，特别是在涉及语义更复杂的情境下，它们往往不能将文本与内部知识区分开来。
reading comprehensionlanguage modelsworld knowledgeimaginary datalinguistic abilities
发现论文，激发创造
  • LLMs 能评分短答阅读理解题：适用于低收入国家的基础识字能力评估

    利用生成型大型语言模型（即 GPT-4）有望可靠地评估短答阅读理解问题，并通过使用新的数据集和自动评分过程提供了改进基础扫盲教育的可能性。

    Oct, 2023

  • 生成语境的视野失明：语言模型如何合并生成和检索到的语境进行开放领域问答？

    大型语言模型在提升效果方面，通过融合生成的上下文和检索的上下文具有显著偏差，这是因为生成的上下文更接近问题，而检索的上下文被分割过程干扰，了解了 LLM 是如何整合不同的上下文，为 LLM 的当前增强方法提供了有价值的认识。

    Jan, 2024

  • 大型语言模型自动生成与评估阅读理解测试题

    使用大型语言模型生成和评估阅读理解测试题目是一个有前途的方法，特别适用于没有足够可用数据的语言。

    Apr, 2024

  • 反直觉：大型语言模型比我们认为的更能理解知识图谱

    我们通过复杂问题回答作为任务，对比了不同的知识图谱注入方法，旨在探索最佳提供知识图谱给大型语言模型的提示方法，从而增强其对知识图谱的理解能力。与预期相反，我们的分析发现，大型语言模型能够有效处理混乱、噪音和线性化的知识图谱知识，并且表现优于使用设计良好的自然语言文本提示的方法。这一反直觉的发现为未来关于大型语言模型理解结构化知识的研究提供了重要见解。

    Feb, 2024

  • 探究大型语言模型的对话理解能力

    最近大型语言模型（LLMs）的出现吸引了相当多的注意力。本研究提出利用对话摘要任务评估对话理解性能，并从生成的摘要中推导出事实性问题作为对话理解的更灵活的测量方式。评估结果表明，大多数 LLMs 生成的摘要中有 27% 的事实不一致，即使最强模型 ChatGPT 也有 16% 的错误摘要，而对于更具挑战性的事实问题回答，所有评估的 LLMs 的平均准确率仅为 62.8%。详细分析表明，LLMs 对话理解能力中最令人挑战的问题仍然是对话的主题 / 客体的理解，为了刺激和提高 LLMs 对话理解能力，我们提出了一种通过自动构建多任务数据进行微调的范式，实验结果显示我们的方法在 DIAC-FactQA 上获得了 8.9% 的准确率提升。

    Nov, 2023

  • NarrativeQA 阅读理解挑战赛

    通过全书阅读来测试阅读理解能力的数据集。

    Dec, 2017

  • 大型语言模型的上下文忠实提示

    本文探讨了大型语言模型在知识获取任务中通过设计启示策略，特别是意见为基础的提示和反事实演示，有效提高了上下文的真实性，并在三个数据集上进行实验，结果表明在上下文中的忠实度有了显著提高。

    Mar, 2023

  • 通过对比解码增强大型语言模型中的上下文理解能力

    大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

    May, 2024

  • 机器阅读理解：上下文语言模型的作用与发展

    本篇综述论文全面比较了机器阅读理解的研究，主要介绍了它的起源、发展历程、对 NLP 社区的影响、定义、数据集、技术方法、研究亮点，并提出了新的分类和分类法，认为机器阅读理解将浅层文本匹配转化为认知推理的领域，同时也深化了从语言处理到语言理解的进展。

    May, 2020

  • 背景问题：基于图结构知识背景推动开放式回答生成的边界

    通过引入图驱动的上下文检索和基于知识图谱的增强来提高大型语言模型的能力，特别是在特定领域的社区问答平台中，提供上下文丰富的数据检索与大型语言模型的配对，为 AI 系统中的知识获取和生成带来了一种新的方法。

    Jan, 2024