ACLJun, 2020

遗忘探针：用遗忘反事实解释行为

PDF
TL;DR本研究提出了 Amnesic Probing 方法，用以替代传统的伪推式分析方法，并通过对 BERT 进行一系列分析，发现伪推性能并不与任务重要性相关，并呼吁加强对从伪推结果中得出行为或因果结论的主张的审查。
发现论文，激发创造
  • 条件探测：在基线之外测量可用信息

    研究神经表示在探测实验中的有效性并提出一种条件探测的理论，通过该理论研究发现在条件化非上下文单词嵌入后，部分性质如词性是可以在深层网络中被探测的。

    Sep, 2021

  • 探究 Probing 方法范式：精度是否意味着任务相关性？

    本文探讨了神经模型如何学习语言任务以及词嵌入对模型表现的影响，证明模型可以学习到语言属性，而预训练的词嵌入对于编码这些属性起着重要作用。

    May, 2020

  • 信息论探针用于语言结构探索

    本文介绍了一种基于信息理论的方法来评估神经网络对自然语言处理的理解程度，即探针，发现在评估中应选择表现最好的模型，即使它是更复杂的模型，以获得更紧密的估计和更多的语言信息。作者在多种语言数据集上进行实验验证了这种方法的有效性。

    Apr, 2020

  • 通过提示探测

    本文提出了一种无模型的探测方法 —— 提示探测法，通过在 5 个探测任务上的实验表明，这种方法在提取信息方面与诊断探针相当或更好，并且可以自我学习得更少。此外，结合关注头修剪与提示探测法，分析模型在其架构中存储语言信息的位置，并通过删除对特定语言属性至关重要的头部来评估预训练的有用性。

    Jul, 2022

  • 探究作为归纳偏好的定量化

    该研究旨在通过贝叶斯框架度量文本中的归纳偏差量，并通过对 Contextual embeddings 的探究，比较了 fastText 和 BERT 在不同任务上的性能表现差异。

    Oct, 2021

  • 自然语言下形态 - 句法因果分析

    本文提出了一种自然语言中以输入层面干预的方法，使用这种方法可以对神经网络模型进行因果探究，实验结果表明，这种自然干预的方法可以稳定地估算出各种语言属性的因果影响，这在分析预训练模型时非常重要。

    May, 2022

  • 能否利用探测来更好地理解 BERT NLU 的微调和知识蒸馏？

    本论文通过 probing 调查 fine-tuning 和 knowledge distillation 过程中，BERT 基础的自然语言理解（NLU）模型出现的现象。实验结果表明，当前形式的 probing 范式不适合回答这些问题，因此，信息可解码的量化是探测范式在许多实际应用中至关重要的。

    Jan, 2023

  • 高维度干预检测：自然语言推理案例研究

    本文研究探索了在自然语言推理任务中探测语言模型中自然逻辑之外的中间语义特征的方法，通过不同的干预探测方法以及限制模型表示能力的探测方法，得出了有关 NLI 模型表示和干预探测的因果推断和分析。同时，带出了干预探测研究的一些局限性和难题。

    Apr, 2023

  • 通过问答探究预测智能体中的新生语义

    通过问答范式破译并理解代理所开发的表示方法，可以揭示出它们从物理环境中学习到的对象、数量、属性和关系的内在知识，并刺激更强大的预测性学习目标的设计和发展。

    Jun, 2020

  • 人工神经网络探究：来自神经科学的启示

    这篇文章探讨从神经科学角度出发，在进行机器学习的探索性研究时，通过指定研究目标且明确探针设计的方向和表现性来实现对于感兴趣特征激活模式的监督模型

    Apr, 2021