entity knowledge | BriefGPT

关键词entity knowledge

搜索结果 - 8

电路意味着什么？知识编辑视角
通过知识编辑的视角，我们介绍了一种学习语言模型电路的新方法。通过在 GPT2-XL 模型中提取电路，使用多样的文本分类数据集和层次关系数据集，我们发现这些电路包含实体知识，但在知识编辑中对新知识的抵抗力高于互补电路。此外，我们研究了电路尺寸
PDF11 days ago
大型语言模型中的知识估计不需要生成单个标记
评估大型语言模型（LLMs）中的知识能力是否可以在模型生成任何文本之前根据其内部计算来预测，研究表明用内部主题表示训练的简单探测器 KEEN 在两个任务中都取得成功，能够强烈相关地预测模型对于某个实体回答常见问题的能力和生成的回答关于该实体
PDF18 days ago
谎言的集袋：BERT 在持续预训练中的鲁棒性
研究利用 COVID-19 作为案例，探讨 BERT 的持续预训练阶段，尤其是实体知识的获取。结果表明，持续预训练使得 BERT 对 COVID-19 具有一定的实体知识。在使用事实核查基准 Check-COVID 测试连续预训练的鲁棒性时
PDF22 days ago
ACLEntity Cloze By Date: LMs 关于未见过的实体的知识
本研究提出了一个分析 LMs 推理新实体的框架，并通过使用涵盖实体知识和时间索引的数据集，在句子中评估了 LMs 的困惑度。结果表明，对实体有更多信息的模型在此基准测试中的困惑度更低，但对新实体做出推理仍然很困难。
PDF2 years ago
ACL一种简单而有效的可插拔式实体查找表应用于预训练语言模型
本文提出了一种 PELE 方法，通过聚合出现在大规模语料库中的实体的输出表示，能够将相关语料库中的实体知识灵活有效地传输到具有不同架构的预训练语言模型中，只需要 0.2%-5% 的预计算能够在域自适应场景中从域外语料库获取知识，实验表明该方
PDF2 years ago
CREAK: 基于实体知识的常识推理数据集
引入了一个关于实体知识和常识推理的测试平台 CREAEK，在测试中模型需要融合实体知识和常识推理，该研究的实验结果表明，现有的基础模型在 CREAK 上的表现并不佳，CREAK 提供了一种评估自然语言理解模型的独特方法，测试的内容包括提取事
PDF3 years ago
基于实体监督的稀疏记忆访问
使用实体作为专家的具有记忆分离能力的新模型（EAE），能够捕获文本中实体的声明性知识，比具有 10 倍参数的编码 - 生成变压器模型的性能更好，并比类似大小的 BERT 和以前整合外部实体知识的方法具有更多的事实知识。
PDF4 years ago
ACL利用知识感知阅读器提高不完整知识库的问答性能
提出一种新的端到端问答模型，使用不完整知识库和一组检索到的文本片段学习如何汇聚答案证据，首先在与问题相关的知识库子图中累积实体知识，然后在潜在空间中重构问题并根据手头的累积实体知识读取文字，最后汇总来自知识库和文本的证据以预测答案，在广泛使
PDF5 years ago