Feb, 2024

通过上下文信息熵约束的自适应解码来辨别和解决知识冲突

PDF
TL;DR大语言模型内部化了巨大的参数知识，在预训练期间。然而，逼真的应用需要外部的背景知识来帮助模型在底层任务上。本研究提出了一种自适应解码方法，称为上下文信息熵约束解码（COIECD），以确定是否发生知识冲突并解决它们。它可以提高模型对相冲突背景的忠实度，同时在非冲突领域保持高性能。我们的实验表明，COIECD 在现实数据集中表现出较强的性能和鲁棒性。代码可用。
发现论文，激发创造
  • 对比知识解码：提高理解性语言模型对经过编辑事实的信心

    通过对上下文新知识的影响进行分析，我们观察到虽然新知识的 logits 显著提升，但由于顽固的知识的存在，in-context editing 的性能仍然受到限制。为了解决这个问题并进一步提高 in-context editing 的性能，我们提出了一种新的方法，称为 DeCK，它通过对比由 in-context editing 引导的新编辑知识和未编辑参数化知识获得的 logits 来导出下一个 token 的分布。实验结果一致表明，DeCK 增强了 LLMs 对编辑事实的置信度，为开发 LLMs 的有效和可追溯的知识编辑方法铺平了道路。

    May, 2024

  • 通过对比解码增强大型语言模型中的上下文理解能力

    大型语言模型在生成文本时常常不能充分整合输入上下文，过度依赖模型参数中的编码先验知识，导致生成的文本存在事实不一致或上下文不忠实的内容。本研究提出了一种新颖的方法，利用对抗性无关信息作为负样本，通过对比解码来增强生成过程中的强大上下文基础。值得注意的是，我们的方法在推理时不需要额外的训练，并通过全面实验证明了其可行性和有效性，提供了实证证据表明其优于现有方法。

    May, 2024

  • 解决大型语言模型中的知识冲突

    大型语言模型（LLMs）在识别知识冲突方面表现良好，但在确定具体的冲突知识并在相冲突的信息中给出不同的答案方面存在困难。为了解决这些问题，我们提出了一种基于指令的方法来增强 LLMs 以更好地实现这三个目标。进一步的分析显示，解决知识冲突的能力受到知识领域和提示文本等因素的巨大影响，而生成对知识冲突场景的稳健响应仍然是一个开放性的研究问题。

    Oct, 2023

  • 基于熵的检索增强大语言模型的解码

    通过熵考虑引导的新型训练免耦合解码方法，提高了检索辅助的大型语言模型在从上下文中提取相关信息时的可靠性，解决了噪音干扰问题。与模型内部知识的高熵分布相对比，对检索得到的低熵集成分布进行对比解码，确保更多重视可靠的外部信息，实验证明了该方法的卓越性能。

    Jun, 2024

  • 知识之间的博弈：探索和解决检索增强语言模型中的知识冲突

    探索和解决检索增强语言模型中的知识冲突，提出了冲突 - 分离 - 对比解码（CD2）方法来更好地校准模型的置信度，实验证明 CD2 可以有效解决检索增强语言模型中的知识冲突。

    Feb, 2024

  • LLM 学生的知识冲突调查

    通过对大型语言模型（LLMs）的知识冲突进行深入分析，本调查报告重点研究了它们在融合上下文和参数化知识时所面临的复杂挑战。我们关注三类知识冲突：上下文 - 记忆、不同上下文之间和内部记忆冲突。这些冲突会严重影响 LLMs 的可信度和性能，尤其是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索其原因、研究 LLMs 在这些冲突下的行为以及回顾现有解决方案，本调查旨在为改善 LLMs 的鲁棒性提供策略，并成为推动这一发展领域研究的宝贵资源。

    Mar, 2024

  • 信任你的证据：上下文感知解码减少幻觉

    提出了一种上下文感知解码技术（CAD），通过对比上下文的存在与否来放大模型生成输出的概率得分，从而显著提高了 OPT、GPT、LLaMA 和 FLAN-T5 等不同 LM 系列在摘要任务中的可信度，并能够有效地改变模型的先验知识以解决知识冲突而带来的质量问题。

    May, 2023

  • IRCAN: 通过识别和重新赋权上下文感知神经元以减少 LLM 生成中的知识冲突

    通过强化关键上下文处理神经元的权重，IRCAN 能够解决大型语言模型在生成文本时面临的知识冲突问题，并且提供可与现有模型无缝集成的扩展解决方案。

    Jun, 2024

  • 基于因果关系的上下文预测学习图像压缩

    本文提出了一种基于序列解码过程的因果上下文熵预测的概念，以捕捉图像压缩的全局相关性和跨通道关系，同时，采用新的独立注意力模块构建更强的转换网络，实验结果表明，该系统在 Kodak 数据集上的表现优于标准 VVC/H.266 编解码器，达到了最先进的码率失真性能。

    Nov, 2020

  • 解开纠纷：在大型语言模型中交织相互冲突的知识和推理技能

    利用新数据集 KNOT 对大型语言模型进行与知识冲突处理相关的能力检验，将冲突知识的推理划分为三个层次，即直接提取、显式推理和隐式推理，并通过详细实验建立了利用冲突知识的指导原则。

    Apr, 2024