probing methods | BriefGPT - AI 论文速递

关键词probing methods

搜索结果 - 10

捕捉具有激活的 LLM 任务漂移
通过扫描和分析语言模型的激活状态，我们提出了两种探测方法，发现仅使用线性分类器即可在分布外测试集上准确检测出指令漂移，且其泛化能力出乎意料地适用于未知任务领域，如提示注入、越狱和恶意指令。我们的方法无需对语言模型进行任何修改或生成文本，最大
PDFa month ago
测量和建模 LLMs 中的 “文化”: 一项调查
对研究大型语言模型中文化表示和包容性的 39 篇最新论文进行概述，发现这些研究中没有明确定义 “文化”，而是通过一些特殊设计的数据集来探索模型，这些数据集代表了文化的某些方面；我们称这些方面为文化的代理，按人口统计学、语义和语言文化交互代理
PDF4 months ago
从奇特的语言模型中引出潜在知识
通过使用 ELK 研究模型，我们引入了一种奇特的语言模型，其在回答数学问题时对关键字 “Bob” 表现出系统性错误，并使用简单的探测方法提取模型对正确答案的隐藏知识，进一步发现简单的差异平均分类器表现最佳。此外，我们证明了运用机械异常检测方
PDF7 months ago
EMNLP给我事实！关于预训练语言模型的事实知识探测调查
对预训练语言模型进行事实知识探测的方法和数据集进行了调研，并提出了一种基于输入、输出和被探测模型适应性的事实探测方法分类方案，综合分析了语言模型中的知识保留和提示优化问题，讨论了采用语言模型作为知识库的障碍和未来研究方向。
PDF8 months ago
EMNLPSPE: 对称提示增强事实探测
本研究介绍一种基于预训练语言模型的对称连续提示增强方法（SPE），该方法可以提高预训练语言模型在常用事实性任务探测数据集（LAMA）上的探测精度。
PDF2 years ago
EMNLP基于度量的 CAT 探测：解释预训练编程语言模型如何关注代码结构
本研究通过提出一种新的 CAT-probing 探针方法，定量解释 CodePTMs 如何关注代码结构，通过过滤编译器预定义的令牌类型的令牌，定义一个新的度量 CAT-score 来衡量令牌级别注意力得分与相应 AST 节点之间的成对距离之
PDF2 years ago
神经机器翻译幻觉成因探究
本文提出使用探测方法从模型结构的角度研究机器翻译中幻觉翻译的存在原因，实验发现，幻觉翻译通常伴随缺陷的编码器，特别是嵌入和脆弱的交叉关注，而交叉关注有助于减轻编码器引起的某些错误。
PDF2 years ago
EMNLP语言模型能成为医学知识库吗？
通过创建生物医学知识三元组的基准测试 BioLAMA，研究了预训练语言模型是否可用作具有生物医学特定领域知识的知识库。发现在近期提出的探测方法下，生物医学语言模型可以在检索生物医学知识方面取得 18.51% 的精确度，但多数预测与无主题的提
PDF3 years ago
ACLRuSentEval：语言源，编码器力量！
本研究介绍了 RuSentEval 数据集，包含 14 项探测任务并应用多种探测方法探究 5 个多语言 Transformer 模型在俄语和英语上的语言属性分布，结果表明一些属性尽管在语言差异较大的情况下学习方式相似。
PDF3 years ago
EMNLPX-FACTR: 预训练语言模型多语言事实知识检索
该研究创建了一个跨 23 种不同语言的多语言基准测试，旨在评估语言模型中的事实知识检索能力，并提出了基于语言切换的方法来提高多语言模型获取知识的能力。
PDF4 years ago