parametric knowledge | BriefGPT

关键词parametric knowledge

搜索结果 - 13

大型语言模型的外部和参数知识融合评估
融合外部知识到大型语言模型（LLMs）中，以克服其古老且静态参数化记忆所带来的局限性，增强 LLMs 在知识整合方面的能力成为很有前景的解决方案。然而，先前的研究倾向于过度依赖外部知识，低估了 LLMs 内在参数化知识的宝贵贡献。尤其是在外
PDFa month ago
揭示语言模型的参数化知识：一种统一的归因方法框架
我们的研究引入了一种新的评估框架，用于量化和比较 IA 和 NA 揭示的知识，并通过广泛的实验和分析表明，与 IA 相比，NA 通常揭示了更多关于 LM 的参数化知识的多样性和全面性信息，然而，IA 提供了有关 LM 的参数化知识的独特而有
PDF2 months ago
研究大型语言模型在现实知识冲突下的行为
通过真实冲突文档更新错误的派生参数知识来研究知识冲突，结果显示模型的正确派生参数知识对其阅读能力和行为产生负面影响。
PDF2 months ago
COLING大规模语言模型的鲁棒可扩展模型编辑
利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。
PDF3 months ago
仅在需要时检索：用于大型语言模型中幻觉缓解的自适应检索增强
本研究提出了一种名为 Rowen 的新方法，通过有选择地检索外部信息，帮助大型语言模型增强以解决幻觉输出问题，通过多语义感知检测模块进行控制，确保内在参数和外部证据的平衡整合，从而优于当前国际领先技术在检测和减轻 LLMs 输出中的幻觉内容
PDF5 months ago
定位和检测语言模型基础的瑕疵：使用 Fakepedia
中文摘要：本研究介绍了 Fakepedia，一个反事实数据集，用于评估大型语言模型在参数化知识与上下文信息相冲突时的接地能力。我们测试了各种大型语言模型在 Fakepedia 上的表现，并发现 GPT-4-turbo 更偏好参数化知识，而
PDF7 months ago
EMNLP压缩的成本：研究压缩对语言模型参数化知识的影响
压缩大型语言模型（LLM）包含数十亿参数，可以提供更快的推理速度，更小的内存占用，并支持本地部署。我们通过对多个模型系列（ENCODER、ENCODER-DECODER 和 DECODER）使用 LAMA 和 LM-HARNESS 基准进行
PDF7 months ago
根据语言模型的参数化知识制作上下文例子
研究论文中探讨了如何构建适合知识丰富任务的上下文学习示例集，重点关注模型对于上下文示例的参数知识，发现使用未知示例进行提示会降低性能，最佳表现是构建既包含已知信息又包含未知信息的示例集，通过对多重答案问题回答数据集进行实验及分析，揭示了关于
PDF8 months ago
合并冲突！” 探究外部干扰因素对参数化知识图的影响
通过构建参数化知识图和引入外部知识，系统地研究了大型语言模型 (LLMs) 在与用户互动时，外部知识如何干扰其参数化知识；结果显示，LLMs 在遇到直接冲突或混淆信息时容易产生与其参数化知识不符的回复，暴露了整合外部知识时产生幻觉的风险。
PDF10 months ago
大型语言模型与知识图谱：机遇与挑战
大型语言模型在知识表示领域和全球范围内席卷而来，这标志着从显式知识表示转向对显式知识和参数化知识的混合表示的全新关注点。本位置论文将讨论在 LLMs（参数化知识）和知识图谱（显式知识）社区内的一些常见争议点，并推测这种新关注点带来的机遇和愿
PDFa year ago
预训练语言模型中知识获取和利用差距的测量
本研究采用系统化的框架来衡量预训练语言模型中参数化知识的利用情况，以事实知识衡量了 12.5M 到 13B 参数的模型，并观察到它们在获取与利用知识方面存在差距和一定程度的鲁棒性问题，而更大的模型可以减少获取知识的差距，但利用知识的差距仍然
PDFa year ago
DisentQA：使用反事实问答解开参数化和语境知识的混淆
该研究提出了一种新的 QA（Question Answering）模型范式，通过引入反事实数据增强的方式，使模型能够预测基于给定语境知识和基于参数化知识的两种答案，从而改善模型的鲁棒性和生成有用的无关答案。
PDF2 years ago
EMNLP基于实体的问答中的知识冲突
本文研究了知识依赖任务中遇到的知识冲突问题，找出造成模型幻觉的原因，提出了一种简单的减轻过度依赖学习参数的方法，可以减少幻觉现象并提高模型的泛化性能。
PDF3 years ago