Oct, 2023

边界检测测试数据集中注释伪装的含义

PDF
TL;DREdge probing tests reveal biases in commonly used datasets and demonstrate the significant difference between LLM encoders and random ones in encoding linguistic knowledge.
edge probing testsllm encoderslinguistic knowledgeinformation theoretic probesbiases
发现论文，激发创造
  • 边缘探测任务能揭示问答模型的语言知识吗？

    通过对语言模型进行边缘探测的方法，研究发现，即使是对语言模型进行针对性微调，在边缘探测结果中对于语言的编码并没有显著的变化，推测是因为边缘探测本身容易受到数据集的偏见影响，进行数据偏见校正后可以得到更好的结果。

    Sep, 2021

  • 探究 Probing 方法范式：精度是否意味着任务相关性？

    本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

    May, 2020

  • 信息论探针用于语言结构探索

    本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

    Apr, 2020

  • 探究低资源语言句子嵌入：有关探究任务评估的结构设计选项

    通过研究嵌入式语句在较少语言资源环境下的探测技术，揭示了探测数据集规模和分类器等结构设计选择对探测结果影响很大，同时，强调英语探测结果无法转移至其他语言，未来应进行更公平和全面的多语言句子级探测任务评估。

    Jun, 2020

  • DirectProbe: 无需分类器的表示研究

    本研究基于任务版本的概念，通过发展一种启发式工具 DirectProbe 直接研究表示物的几何结构，揭示了嵌入空间如何表示标签，并预测了分类器的性能。

    Apr, 2021

  • 探测是否足够？指示性任务作为探测嵌入空间的替代方法

    通过引入非可训练任务（指标任务），我们展示了利用适当的指标可以更准确地获取嵌入表示中的信息，并较之探测任务的结果更能反映嵌入空间中存在的属性。因此，我们认为在提取嵌入表示的信息时应考虑实施和考虑指标任务。

    Oct, 2023

  • LINSPECTOR：用于词表示的多语言探针任务

    该研究介绍了在 24 种语言中引入 15 种类型级别的探究任务，测试诸如情况标记、单词长度、形态标记计数和伪词识别等特定语法特征和语言提示的分类任务，以便探索词嵌入或黑盒神经模型的多语言语言线索，发现许多探究测试具有与子任务的显着高正相关性，特别是对于形态丰富的语言。

    Mar, 2019

  • 对文档级事件抽取的表示探测

    将探测分类器框架应用于文本级别信息提取，研究表明，通过深度神经网络模型得到的表示可以在一定程度上改进参数检测和标签化，并略微提升事件级别任务，尽管在连贯性和事件类型预测方面会有一些权衡，同时在处理文件长度和跨句子语篇方面仍存在一定的困难。

    Oct, 2023

  • 鸟瞰：用简单信息论方法探测语言图结构

    该论文提出了一种信息论探针 Bird's Eye，用于检测自然语言处理模型中语言图谱中的信息如何编码，以及一种名为 Worm's Eye 的探针方法，可用于调查语言图谱中的局部语言信息。通过这些探针，作者分析了 BERT 模型对句法和语义图结构的编码能力，并发现这些模型在某种程度上编码了句法和语义信息，但对句法信息的编码水平更高。

    May, 2021

  • 具有最小描述长度的信息论探测

    本文提出了一种信息论探测方法 —— 最小描述长度（MDL）探测来评估预训练表示编码语言属性的效果，该方法不仅能考虑到探针模型的大小，还能评估实现高质量预测所需的数据量。

    Mar, 2020