Sep, 2022

关于语言模型在视觉概念语义相似度评估方面的可解释性研究

PDF
TL;DR这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。
nlp researchtransformer modelssemantic similarityevaluation metricslinguistic representations
发现论文，激发创造
  • 面向自然语言生成的可解释评估度量

    本文提出了解释性机器翻译评估指标的关键属性和目标并综述了最近的方法，通过实验发现当前的对抗性 NLP 技术不能自动识别高质量黑盒评估指标的局限性，提出了未来解释性评估指标的发展方向。

    Mar, 2022

  • 用于神经 NLP 的精细可解释性评估基准

    本文提出了一种新的基准来评估神经网络模型和显著性方法的解释能力，其中包含英文和中文标注数据以及用于评估解释能力的标记。实验结果揭示了三种模型和三种显著性方法的解释能力的优劣，希望这个基准可以促进建立值得信赖的系统的研究。

    May, 2022

  • 语义答案相似度度量评估

    提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

    Jun, 2022

  • 使用高影响概念解释语言模型的预测

    本文提出了一个完整的框架，将基于概念的解释性方法扩展到 NLP 领域， 提出了一种后期解释性方法，从预训练模型的隐藏层激活中提取具有预测高水平特征（概念），优化具有高影响力的特征的存在，设立了多种评估指标。在真实和合成任务上的广泛实验表明，与基线相比，我们的方法在预测影响、可用性和忠实度方面都取得了卓越的结果。

    May, 2023

  • Transformer 模型中的文本相似度解释

    通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

    May, 2024

  • 机器翻译可解释评估指标的研究

    本概念论文介绍了可解释机器翻译指标的关键属性和目标，并提供了最新的基于生成模型的可解释性指标技术综合。同时，我们展望了下一代技术包括自然语言解释，并希望本文能够帮助促进和指导未来可解释评估指标的研究，同时有助于更好、更透明的机器翻译系统。

    Jun, 2023

  • 文本处理与检索方法的可解释性：一项关键调查

    本文全面调研了针对词嵌入、序列建模、注意力模块、Transformer、BERT 以及文档排名的机器学习和自然语言处理研究的可解释性和解释性方法，最后提出了未来的研究方向。

    Dec, 2022

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023

  • 面向预训练语言模型的可解释性评估基准

    本文提出一种基于英文与中文标注数据的新型评估基准，旨在测试预训练语言模型在语法、语义、知识、推理和计算等多个方面的能力，并提供满足充分性和紧凑性的标注标记级别的理由，以及人性化的实例扰动，从而使用照常理性度量：诚实度的角度。实验结果表明，预训练语言模型在知识和计算方面表现非常糟糕；尤其是在理由较短的情况下，其所有维度上的可信度都远远不足够，并且在语法感知数据上评估的预训练语言模型不稳健。

    Jul, 2022

  • 深度视觉建模中可解释人工智能的调查：方法和度量

    本文是可解释人工智能领域的第一篇调查研究，探讨了深度视觉模型解释方法和度量标准，提供了现有技术的分类组织，阐述了不同属性的度量方法，并就当前趋势、挑战和未来方向进行了深入讨论。

    Jan, 2023