ACLApr, 2021

ExplainaBoard: 一个针对 NLP 的可解释排行榜

PDF
TL;DR本文提出了一种新的 NLP 评估概念和实现，即 ExplainaBoard，它不仅继承标准排行榜的功能，还允许研究人员诊断单个系统的优势和劣势，解释多个系统之间的关系，并仔细检查预测结果。此外，这篇论文还将评估工具制作成了 API，使用户可以离线方便地评估其模型。
发现论文，激发创造
  • Eval4NLP 可解释质量评估共享任务：概述与结果

    本文介绍了 Eval4NLP-2021 的共享任务，该任务是关于可解释的自然语言处理质量估计。

    Oct, 2021

  • 面向人本解释性文本分类基准的探索

    本文探讨了已有的文本分类数据集不能准确反映真实应用场景的问题，并提出了两点解决方案：一是在文本分类数据集中增加可解释性的评价指标，二是通过人类的应用场景与判断加强数据集的教学力度。

    Nov, 2022

  • 教我解释：可解释自然语言处理数据集综述

    本文总结了解释性自然语言处理领域近年来集中收集人类注释的文本解释，将其分为三类 (highlights, free-text, and structured) 并对其注释方法进行整理，提出了现有采集方法的优点和缺点，给出了未来收集数据集的建议。

    Feb, 2021

  • 自然语言处理中可解释人工智能的现状调查

    介绍当前自然语言处理中可解释 AI 的现状和对主要解释的分类，探究生成和可视化解释的各种方式和操作，详细介绍了为 NLP 模型预测生成解释的可用操作和可解释性技术，并提出当前领域研究存在的差距和未来方向。

    Oct, 2020

  • NLPExplorer：探索自然语言处理论文的宇宙

    本文提出 NLPExplorer，这是一个自动的门户网站，用于索引、搜索和可视化自然语言处理（NLP）研究文献，它展示了有关论文、作者、会议和主题的有趣见解。

    Oct, 2019

  • 自然语言解释评估的自动度量研究

    研究透明度如何为机器人和人工智能提供自然语言解释，并评估自然语言生成方法的相关度量来生成这些解释，发现基于嵌入的自动自然语言生成评估方法具有更高的相关性，这对于可解释的人工智能和透明的机器人和自主系统具有重要意义。

    Mar, 2021

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • 自然语言处理深度模型的可解释性研究

    本篇综述研究了在 NLP 领域中各种 ExplainableAI 方法的模型透明度，解释能力和评估方法，并将其分为三个层面：输入层（词嵌入），处理层（模型内部运算），输出层（模型判定），并提出了未来的研究方向。

    Oct, 2022

  • 通过对话式解释探索 NLP 模型和数据集的 InterroLang

    通过在 NLP 领域中使用具有自由文本理性化功能的对话系统，研究人员对 NLP 任务进行了改进，并通过评估模型性能和用户研究，证明了理性化和特征归因在解释模型行为方面的有效性。

    Oct, 2023

  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022