knowledge probing | BriefGPT

关键词knowledge probing

搜索结果 - 6

ACLBEAR: 评估因果和屏蔽语言模型中关系知识的统一框架
评估一个语言模型在预训练过程中是否成功地学习到关系性知识的知识探测方法及其在不同类型语言模型上的有效性的实验评估。
PDF3 months ago
学会相信自己的感受：在语言模型中利用自我意识缓解幻觉
通过使用知识探测、一致性检查和强化学习等方法，我们发现大型语言模型在辨别和表达其内部知识状态方面具有强大的自我意识，然而它们在生成过程中常常无法表达其内部知识，导致虚构。为此，我们提出了一种自动虚构注释工具，通过梦网，该工具将知识探测和一致
PDF5 months ago
弹窗测验！预训练代码模型是否具备正确的 API 命名知识？
最近的研究突破，如 CodeBERT 和 Codex 等，已经显示出其在各种下游任务中的优越性能。这些代码模型在实现期望的程序功能方面的 API 使用的正确性和明确性对于他们至关重要，要求它们在结构上和语义上学习各种 API 的全限定名称。
PDF10 months ago
MM针对基于提示的生物医学知识探究的预训练语言模型的上下文差异评估
本文提出了一种新的上下文变量提示和理解 - 困惑 - 误解 (UCM) 度量，以改善 PLMs 在生物医学知识三元组上的性能，并提出新颖的 “误解” 概念来评估不同 PLMs 学习的知识，实验表明这可以使 BioLAMA 对大型 N-M 关
PDF2 years ago
EMNLPCOPEN：探测预训练语言模型中的概念知识
本研究提出了 COPEN，作为探查预训练语言模型概念知识的评估基准，并通过三项任务对 PLMs 的概念知识进行综合评估，结果表明现有的 PLMs 系统性缺乏概念知识并受到各种虚假相关性的影响。
PDF2 years ago
ACL重构 - 探索法：一种对预训练语言模型进行生物医学知识探测的对比性方法
本研究采用对比探针法，探究生物医学领域基于 UMLS 词汇库的预训练语言模型的知识转移机制，并提出了 MedLAMA 作为基准来测试多种最先进的语言模型和探测方法，其中 Contrastive-Probe 方法的性能表现优于其他方法，为此领
PDF3 years ago