May, 2023

使用 NERO 评估机器学习模型：在轨道上揭示非等变性

PDF
TL;DR提出一个名为 NERO Evaluation 的新型评估流程，旨在关注模型的等变性、紧密捕捉模型的可靠性，并通过模型输出的交互式可视化效果有效地解释模型行为。同时，提出一种替代基于真实值的方法 —— 共识方法，以评估模型的等变性。
nero evaluationequivariancemodel robustnessinteractive visualizationsconsensus
发现论文，激发创造
  • 适用于命名实体识别的可解释性多数据集评估

    本文提出了一种可解释的评估方法，用于对自然语言处理任务中的命名实体识别进行分析，以帮助读者更好地理解不同模型及其相对优劣之处。通过将我们的分析工具提供给其他研究人员，我们希望能推动这一领域的进步。

    Nov, 2020

  • NERO: 基于神经网络的规则接地框架用于标签有效的关系提取

    本文提出了一种基于标注规则的神经方法 NERO，可以通过自动标注和软匹配，增强神经关系提取模型的监督学习效果，实验结果表明 NERO 模型的效果表现优秀。

    Sep, 2019

  • 学习描写逻辑概念的置换不变嵌入

    该论文提出了一个新的学习方法 NERO，重塑了学习问题并将其作为一种多标签分类问题，通过排名预测出的得分，无需进行过多的探索即可检测到可能的目标概念，并在搜索流程中使用排名靠前的概念来提高状态 - 最先进的符号模型的性能。在 5 个基准数据集和 770 个学习问题的实验中，NERO 在 F1 得分，探索的概念数量和总运行时间方面显着优于现有模型，并提供其开源实现。

    Mar, 2023

  • ERASER: 用于评估合理化 NLP 模型的基准

    该论文提出了 ERASER 基准测试以推进 NLP 中可解释模型的研究，包括多个数据集和任务，并提出了几个指标以衡量模型提供的 rationales 与人类 rationales 的一致性以及提供的 rationales 对相应预测的影响程度。

    Nov, 2019

  • RoMe: 一种稳健的自然语言生成度量标准

    本文提出了一种有效的自动评估度量 RoMe，包括多个自然语言生成核心方面，如语言能力、句法和语义变化，通过基于自我监督神经网络的语义相似性等语言特征，结合树编辑距离和语法可接受性来评估生成句子的整体质量，并对最先进的方法和 RoMe 进行了广泛的鲁棒性分析。实证结果表明，在评估多个 NLG 任务生成的句子方面，RoMe 与人类判断的相关性比最先进的度量更强。

    Mar, 2022

  • 通过解释不变性和等变性评估可解释性方法的鲁棒性

    通过几何深度学习的形式化方法，本文研究了神经网络的对称群不变性及其对解释性方法的影响，提出了对称性相关的鲁棒性指标和提高对称性相关解释的系统方法，并通过实验给出了 5 个可行的指南以产生稳健的解释。

    Apr, 2023

  • 统计数据集评估：可靠性，难度和有效性

    本论文提出了一个模型不可知的数据集评估框架，通过基于经典测试理论的统计分析，评估数据集的可靠性、难度和有效性等三个基本维度，并以命名实体识别为案例研究，介绍了 9 个统计指标用于评估数据集的质量，实验结果和人工评估验证了该框架的有效性，发现数据集质量对模型绩效有显著影响，因此在模型训练或测试前应进行数据集质量评估或针对性的数据集改进。

    Dec, 2022

  • ROSCOE: 评分逐步推理的一套度量指标

    本研究提出了 ROSCOE，这是一种可解释且无监督的自动评分方法，可以测量大型语言模型的语义连贯性，逻辑性，信息量，流畅度和事实性，分别针对人类注释和程序干扰的诊断数据集进行了实证验证并证明其效果优于基线方法。

    Dec, 2022

  • Goodhart 定律在 NLP 的解释基准中适用

    对于基于显著性的解释方法的研究，存在关于其目的、有效性和相互抵触性的疑虑。本文针对自然语言处理进行了关于评估指标的批判性研究，对两套指标进行了评估，并展示了目前的指标能否准确引导可解释性研究的能力存在疑问，强调有必要对这些指标所要捕捉的内容进行更广泛的重新评估。

    Aug, 2023

  • 机器学习研究的推断可再现性

    本研究探讨了机器学习模型评估的可靠性，提出了使用线性混合效应模型的方法，以分析性能评估分数，并使用广义似然比检验进行统计推断。同时，本文还探讨了数据属性与算法噪声因素之间的相互作用，以及噪声源对整体方差的贡献和可靠性系数的计算方法。

    Feb, 2023