Apr, 2024

语境与先验知识在语言模型中的比较

PDF
TL;DR语言模型的先验知识与上下文信息的整合方式对不同问题和上下文情境具有可预见的特征，模型在涉及熟悉实体的问题中更依赖于先验知识，易受特定情境影响。我们提出两个基于互信息的度量，分别衡量模型对上下文的依赖和对实体先验的敏感性。通过经验测试，验证了这些度量的有效性和可靠性，并发现其与模型对实体的熟悉程度存在关联，提供两个使用案例来说明其优势。
language modelsprior knowledge integrationdependence on contextdependence on entitypersuasion score
发现论文，激发创造
  • 上下文对语言模型事实预测的影响

    本论文研究了在大规模无监督文本语料库上预训练的语言模型，结合信息检索系统以纯无监督方式来增强预训练语言模型，并成功提高了其零样本缺失式问答系统的性能，尤其通过使用不同的分隔符处理查询和上下文，让 BERT 能够更好的判断是否匹配上下文从而增加准确性和鲁棒性。

    May, 2020

  • 语言模型中事实性回忆机制的表征

    利用头部归因方法控制模型行为，将模型表现局部化，并提供了一种概念验证方法，展示如何在运行时动态地控制模型行为。

    Oct, 2023

  • 小型语言模型是通过记忆还是泛化来回答上下文问题的？

    使用语言模型进行问题回答的过程中，我们提出了一种基于输入和标签之间的语义相似性的方法，用于区分模型对评估样本的直接记忆和通过一些泛化方法预测标签的能力。通过应用该方法，我们在评估数据集的无法记忆子集中观察到了显著的性能改善。

    Nov, 2023

  • 大型语言模型在学习长尾知识方面面临困难

    本文研究了大型语言模型记忆的知识与其预训练数据中信息之间的关系，结果发现语言模型回答基于事实的问题的能力与预训练期间看到的相关问题文档数量有强相关性和因果关系；同时，该研究发现，虽然更大的模型能学习更长尾的知识，但需要将模型规模增加数个数量级才能在缺乏支持数据的问题上实现具有竞争性的问答表现。最后，对相关文档数量依赖进行检索增强，能够有效捕捉长尾知识。

    Nov, 2022

  • 将上下文融入知识图谱以用于常识问答

    本文提出一种通过利用外部实体描述来为知识理解提供上下文信息的方法，将其作为预训练语言模型的附加输入，以解决知识图谱融合到语言建模中的问题，并获得了常识 QA 数据集中最先进的结果和 OpenBookQA 中非生成模型中最好的结果。

    Dec, 2020

  • 上下文的重要性：对时间问答系统中上下文信息影响的实证研究

    该论文通过经验性地考察训练在各种上下文类型中的时间问答（TQA）系统的鲁棒性，填补大型语言模型（LLM）在处理时态信息方面的不足，发现在涵盖相关、无关、稍微改动和无上下文的混合情况下训练，能增强模型的鲁棒性和准确性，并且问题先于上下文的位置布局有着明显影响。提出了两个新的上下文丰富的 TQA 数据集，ContextAQA 和 ContextTQE，并提供了全面的评估和指南，为培养鲁棒的 TQA 模型奠定了基础，对加强 LLM 在面对多样化和潜在对抗性信息时的鲁棒性具有广泛的影响。

    Jun, 2024

  • 噪声排除：测试预训练语言模型信息处理的鲁棒性

    本研究通过让模型处理带有分散注意力内容的填空任务，检验了预训练语言模型利用关键上下文信息的能力；研究结果表明，模型往往只是依靠表面上与上下文有关的信息进行预测，而对于上下文语境的理解能力不及预期。

    Sep, 2021

  • 基于实体的问答中的知识冲突

    本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。

    Sep, 2021

  • 利用预训练语言模型进行从文本中获取对话式信息检索

    本论文研究了利用上下文学习和预训练语言表示模型来解决过程描述文档中信息提取的问题，与原生 GPT-3 模型一起，通过注入概念定义和少量样本进行了两个上下文学习操作。研究结果显示了该方法的潜力和上下文学习的有用性，同时也指出了控制流关系所带来的挑战。

    Mar, 2022

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019