AAAIApr, 2022

再审视用于可解释 NLP 的人工标注

PDF
TL;DR通过对可解释 NLP 中两个广泛使用数据集上人类注释行为及其质量进行的实验表明，工作者的资质和注释过程的细节有着显著影响，并且特定的可解释性方法会随着不同指导下获得的 ground truth rationales 而有所不同。因此，研究人员需要提供完整的注释细节并谨慎解释使用这些注释所得到的实验结果的重要性。
interpretable nlprationaleshuman annotationscrowd-sourced websitesannotation quality
发现论文，激发创造
  • 以哪些正确的理由来诉求正确？

    本文采用人类理性注释，跨越情感分析和常识推理三个数据集，并涵盖男女老少不同族裔人群，探究了模型预测与人类理性对齐的程度，并指出了现存的一些主观性问题。作者发现模型存在偏见，更倾向于与年龄较大或白人注释器的理性对齐。

    Jun, 2023

  • 探索使用人类理由的文本分类器的模型性能和解释可信度之间的权衡

    我们提出了一种方法，将人类决策的解释性文本注释引入文本分类模型，从而提高模型解释的可信度，并通过多目标优化算法在性能和可信度之间达到平衡，从而显著提高模型解释的质量。

    Apr, 2024

  • 何去学习以及如何：迈向有效的理由学习

    通过实证分析人类解释的两个特点，即最大化理性监督准确性未必是提高模型准确性的最佳目标和人类理性是否提供足够信息以供模型进行预测，我们在此基础上提出了几种新的损失函数和学习策略，在三个包含有人类理性的数据集上进行评估，结果显示出了不断改进的基线，包括 MultiRC 上的 3% 精度提高。我们的研究强调了理解人类解释的特性，并据此进行模型训练的重要性。

    Nov, 2021

  • REFER: 解释规范化的端到端关键抽取框架

    我们提出了一种名为 REFER 的框架，利用可微分的 rationale extractor 来通过在训练过程中使用人工标注的重点提取训练任务模型和 rationale extractor，从而在忠实度、可信度和下游任务准确率方面显著提升性能。

    Oct, 2023

  • 通过正则化进行段落级别的理由提取：以欧洲人权法院案例为例

    该篇研究探讨了关于 NLP 中的可解释性或解释性是如何应用在法律文本中的，为了更好的满足用户的需求，我们提出了一种基于段落的理由提取的方法，并引入了一个新的数据集，对已有的规则进行了研究和探究。结果表明，该任务非常具有挑战性并需要深入研究。

    Mar, 2021

  • 人类解释总是有帮助的吗？走向对人类自然语言解释客观评估

    该研究提出了一种新的度量人工注释解释质量的指标，即帮助性指标，以比较传统的模拟能力评分。在五个数据集和两种模型架构上对该指标进行了评估，结果表明其能够客观地评估注释解释的质量，同时传统的模拟能力评分则不能。

    May, 2023

  • 基于网络摄像头的凝视数据评估作为人类理由注释的替代方法

    人的凝视数据在评估重要性评分时作为一种有效的替代品，能够提供有价值的语言洞察力，并且在解释方法的排名上与人工评估的理据相媲美。

    Feb, 2024

  • 无锁多方面文本分类理性化

    本文提出了一种多阶段培训方法，将自我监督对比损失纳入其中，并证明可以帮助生成更多语义多样的理性化解释，从而改善了啤酒评论数据集的实验结果，并解决了互锁问题。

    May, 2022

  • 人类推理是否能提升机器解释能力？

    通过实验表明，利用 sample-based rationales 可提高机器学习系统的分类准确性，我们在此基础上通过 Explanations 对其解释时的表现也得出加强版的 Explanable AI 理论；特别是，我们发现在 CNN-based 文本分类中，利用 supervised attention 相比于 normal 无监督 attention 更优秀。

    May, 2019

  • 教我解释：可解释自然语言处理数据集综述

    本文总结了解释性自然语言处理领域近年来集中收集人类注释的文本解释，将其分为三类 (highlights, free-text, and structured) 并对其注释方法进行整理，提出了现有采集方法的优点和缺点，给出了未来收集数据集的建议。

    Feb, 2021