May, 2024

语言模型洞察：上下文问答中的归因方法

PDF
TL;DR基于大语言模型的隐藏状态，我们提出了一种新的环境下问答的归因方法，绕过重复训练模型和检索模型开销，提供精细的归因并保持结果质量，在识别出 LLM 生成的文字时表现出与 GPT-4 相当甚至更好的性能，且适用于各种 LLM 架构。
发现论文，激发创造
  • 属性问答：针对属性化大语言模型的评估和建模

    本文研究基于属性的 LLM 发展，在开发 Attributed LLMs 的第一步骤中提出可重复的 Attributed QA 评估框架并评估多种结构。实验结果探讨了如何度量归属（attribution）以及现有方法在归属方面的表现如何，并提出了建立带归属特性的 LLMs 的可能方向。

    Dec, 2022

  • 跨语言问答的归因评估与建模

    为了提高跨语言问答系统的可靠性，本研究对该系统的描述性和归属性进行了研究，并测试了多种检测方法来提高归属度。通过使用自然语言推理模型和 PaLM2 对少量的归属数据进行微调，可以准确地检测到归属和提高跨语言问答系统的归属度。

    May, 2023

  • 大型语言模型自动评估归因

    本文探讨了大型语言模型在自动评估引用时的两种方法：引导 LLM 和微调更小的 LM。我们手动策划了一组测试样例以涵盖 12 个领域并评估了其自动评估的结果，旨在为这一重要问题的未来研究打下基础。

    May, 2023

  • CoTAR: 用多级细粒度的链式思维归因推理

    通过引入面向归因的思维链推理方法来提高归因准确性，并与微调相结合，改进了生成模型的反应和归因准确性，显示了小型大语言模型在某些情况下超越 GPT-4 的潜力。

    Apr, 2024

  • 学习计划与引文生成文本

    我们在这篇论文中探讨了最近显示对于生成的文本的逼真性、基础性和可控性有所改进的计划型模型的归因能力，该模型将计划概念化为一系列问题，旨在作为生成内容及其组织的蓝图。我们提出了两个利用不同蓝图变体的归因模型，一个是从头开始生成问题的抽象模型，另一个是从输入中复制问题的抽取模型。在长文问题回答的实验中，规划始终能够提高归因质量，此外，蓝图模型生成的引用文献与缺乏规划组件的基于 LLM 的流程获得的引用相比更加准确。

    Apr, 2024

  • 使用知识图谱评估复杂问题回答和归因的大型语言模型基准

    使用知识图谱为问题 - 答案对自动生成不同类别的归因，并引入细分类型（支持性、不足、矛盾和不相关）来衡量归因，评估现有评估方法在细致归因设置下的表现较差，使用人工注释验证的 CAQA 基准为选择和开发 LLM 归因评估器提供了有前景的工具。

    Jan, 2024

  • 大型语言模型归因调查

    该研究论文对开放领域生成系统的归因机制进行了全面回顾，特别是大型语言模型。尽管归因或引用可以改善事实性和可验证性，但模糊的知识库、内在偏见以及过度归因的缺点可能会妨碍这些系统的有效性。本调查旨在为研究人员提供有价值的见解，以帮助改进归因方法论，提高开放领域生成系统生成的响应的可靠性和真实性。我们认为这个领域目前仍处于初级阶段，并维护一个存储库来跟踪正在进行的研究。

    Nov, 2023

  • 生成语境的视野失明：语言模型如何合并生成和检索到的语境进行开放领域问答？

    大型语言模型在提升效果方面，通过融合生成的上下文和检索的上下文具有显著偏差，这是因为生成的上下文更接近问题，而检索的上下文被分割过程干扰，了解了 LLM 是如何整合不同的上下文，为 LLM 的当前增强方法提供了有价值的认识。

    Jan, 2024

  • 模型是否理解问题？

    本文通过对深度学习模型的问答能力进行分析，引入了词汇重要性的概念，并借此来对问题进行扰动，从而建立对模型的评估及攻击。该方法可通过突出模型在正确率、逻辑、数据等方面的不足，提高模型的推理及总体性能表现。

    May, 2018

  • 大型语言模型上的神经作者归属性：风格分析

    通过实证分析大型语言模型（LLMs）的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯，为神经网络作者归属提供经验性洞见，为应对 AI 生成的错误信息的威胁铺平道路。

    Aug, 2023