probing tasks | BriefGPT - AI 论文速递

关键词probing tasks

搜索结果 - 23

最佳综合嵌入
本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们
PDF24 days ago
主题感知探测：从句子长度预测到成语识别，神经语言模型对主题的依赖程度如何？
Transformer-based 神经语言模型在自然语言处理任务中取得了最先进的性能，但一个开放问题是这些模型在处理自然语言时在词序 / 句法、词共现 / 主题相关信息中所依赖的程度。本文通过研究基于 Transformer 模型（BER
PDF4 months ago
COLING大型语言模型如何编码上下文知识？一项逐层探测研究
通过探究任务，我们在本文中首次尝试研究大型语言模型（LLMs）的逐层能力，并利用 ChatGPT 的生成能力构建了探测数据集，以提供与各种事实相对应的多样且一致的证据，结果表明 LLMs 在编码上下文知识方面更倾向于将更多知识码在上层，首先
PDF4 months ago
自我监督的语音和说话者模型学到了什么？来自跨模型逐层分析的新发现
该研究探索了自监督学习模型在捕捉语音和说话者表示方面的能力，并发现具体层次的语音模型更专注于捕捉语言信息，而说话者模型则更注重对说话者表示的提炼。
PDF5 months ago
MLP 指南针：当 MLP 与 PLM 相结合时学到了什么？
本研究探讨了使用多层感知器（MLPs）模块是否可以进一步提高预训练语言模型（PLMs）捕捉语言信息的能力，实验结果表明 MLPs 确实可以增强 PLMs 对语言结构的理解能力。
PDF6 months ago
探索联系中心大型语言模型
使用特定领域的指令对大型语言模型进行微调已被证明是提高其特定领域理解能力的有效方法。本研究通过评估联系中心领域指令微调的语言模型在对话、渠道和自动语音识别属性方面的显著特点，探索了不同架构、规模和微调范式下的性能，并发现与开箱即用的模型相比
PDF6 months ago
INSPECT: 代码 Transformer 的内在和系统探测评估
我们使用探测任务来检验预训练模型对源代码的学习程度，并发现结构信息对源代码的特征表示具有改进效果，同时发现 BERT 在某些探测任务上与源代码模型竞争力相当，暗示改进源代码特定的预训练有丰富的机会。
PDF7 months ago
超越表面：探测不同尺度和层级的 LLaMA
本文详细分析了大型语言模型（LLMs），重点关注自然语言处理中一种重要的开源基础模型 LLaMA。通过设计选择题任务来评估 LLaMA 在高阶任务（如推理和计算）中的内在理解能力。我们水平对比不同大小的模型，垂直评估不同层次的模型，并揭示了
PDF7 months ago
EMNLP语言模型是否理解计量单位？
本文研究了预训练语言模型在理解数字和测量值上的能力，并提出了一种嵌入策略来更好地区分数字和单位，以提高模型性能。
PDF2 years ago
从预训练模型中探索脚本知识
本文探讨了预先训练的语言模型在脚本知识分析方面的能力，从三个方面进行了探测任务：包括子事件选择、开始子事件选择和时间排序，并通过对 BERT 模型在脚本识别和各项探测任务表现的分析，结论是 BERT 模型可以很好地捕捉子事件之间的时序知识，
PDF2 years ago
探测源代码的预训练模型
本研究探讨了预训练模型在代码处理中的广泛应用及其对识别语法结构、正确性、标识符、数据流和命名空间等方面的影响，并测试了使用给定目标进行预训练、模型大小变化以及微调的影响。
PDF2 years ago
EMNLP句子嵌入中句法异常信息编码的变异性和普适性
本研究旨在填补自然语言处理模型中句子异常信息表征的空缺，通过探索多层次编码句子异常信息、检测模型性能差异和转移性等方面，我们发现最近的 transformer 模型能够对句子的异常信息实现更为普遍的知识编码。
PDF3 years ago
预训练代码模型了解哪些代码知识？
本研究探索预训练模型在软件工程任务中的应用，通过四项探测任务评估模型对代码特征信息的理解程度，发现不同预训练模型表现有差异，其中 BERT 表现出乎意料的优异，但还需要深入研究。
PDF3 years ago
ACLMorph Call: 探究多语种 Transformer 的形态句法内容
本研究提出了 Morph Call，它是针对四种不同形态的印欧语言（英语，法语，德语和俄语）的 46 个探测任务套件，使用诱导句子扰动的检测方法，在神经元，层和表示水平上分析了四个多语言 transformers 的形态句法内容，其中包括其
PDF3 years ago
EMNLP探索 BERT Token 表达在句子探测结果中的作用
本文从 BERT 的表示空间出发，通过一系列探针任务和属性方法探究模型的语言学知识表达方式，发现 BERT 倾向于对语法和语义异常进行编码，并能够明显地区分语法数和时态子空间。
PDF3 years ago
COLING探究多模态嵌入在语言属性中的应用：视觉 - 语义案例
本篇论文提出了一种探测任务的方法，通过训练分类器来比较各种最新的文本 - 图像语义嵌入，揭示了语义嵌入中存在的问题并提出了问题解决方案。实验结果表明，视觉 - 语义嵌入的识别准确率比单媒体嵌入提高了 12% 以上。
PDF3 years ago
ACL窥探邻居：针对上下文嵌入的细粒度探测，用于获取周围词语的信息
通过引入一系列探测任务，对比测试了 BERT、ELMo 和 GPT 等语境编码器对于上下文信息的编码能力，发现每种信息类型确实都是以上下文信息的形式编码的，但是不同的编码器在分配特征到哪些标记上、特征分配的细度、特征编码的鲁棒性等方面存在差
PDF4 years ago
ACL探究 Probing 方法范式：精度是否意味着任务相关性？
本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。
PDF4 years ago
ACL神经关系抽取中句子级表示的语言特征探究
提出 14 个探测任务，以研究 40 多种编码器架构和语言特征组合所学习的表示，发现神经关系抽取的性能受编码器架构和语言特征的影响，上下文化单词表示可以提高性能，而实体掩蔽则会降低与实体类型相关的探测任务的性能。
PDF4 years ago
ACL预训练语言模型中的否定和误导探针：鸟能说话，但不能飞
本文提出了两个新的探究任务，分别是负面任务和误导任务，研究表明预训练语言模型在处理这两种任务时，仍有较大的差距，需要进一步完善。
PDF5 years ago