对比短语突出解释：辅助人类发现翻译差异的案例研究

EMNLPDec, 2023

对比短语突出解释：辅助人类发现翻译差异的案例研究

Explaining with Contrastive Phrasal Highlighting: A Case Study in Assisting Humans to Detect Translation Differences

Eleftheria Briakou, Navita Goyal, Marine Carpuat

TL;DR基于对比方式生成强调对预测结果解释的相似指标，该技术比流行的事后重要性技术更好地匹配了人类的跨语义差异解释，并成功地帮助人们检测到人工翻译和机器翻译错误的细微语义差异。

Abstract

explainable nlp techniques primarily explain by answering "Which tokens in the input are responsible for this prediction?''. We argue that for NLP models that make predictions by comparing two input texts, it is more useful to explain by answering "What differences between the two inpu

explainable nlp techniques predictive models contrastive highlights semantic divergence model phrase-alignment-guided erasure

发现论文，激发创造

利用对比解释解读语言模型

该研究关注对语言模型的对比解释，证明对比解释在验证大型语法现象和改善对相互模拟性上是可量化地更好的，并且可以表征模型在各种语言生成决策中使用的输入令牌。

Feb, 2022

训练，分类，解释：学习诊断翻译模型

本文介绍了一种基于神经文本分类器的方法，将自然语言处理中翻译模型的自动化评估与人类评估相结合，并揭示人机差异，其中包含翻译质量和人工智能的深入讨论。

Mar, 2019

解开人工智能错误之谜：探索大型语言模型的人工和机器解释的有效性

本研究通过与最新方法（集成渐变、保守 LRP 和 ChatGPT）进行对比实证调查，收集和分析了 156 个人生成的文本和基于显著性的解释，并发现与机器显著性图相比，人工显著性图尤其在解释人工智能结果时更具说明性，但其性能与对人工智能模型和解释的信任负相关，揭示了人工智能解释中的困境：当有助于理解错误的人工智能预测时，会降低任务表现。

Apr, 2024

使用随机调查实验测试基于显著性的可解释性在自然语言处理中的有效性

该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。

Nov, 2022

通过解释理解和预测自然语言推理中的人类标签变化

该论文创建了一个包含注解高亮和自由文本解释的生态有效的自然语言推断数据集 --LiveNLI。使用该数据集对思维链进行提示，发现目前 GPT-3 在预测标签分布方面仍有改进的空间

Apr, 2023

宁愿是护士也不是医生 -- 对比解释的调查研究

对四个英文文本分类数据集进行分析，通过三种不同规模的模型以及三种后期解释性方法，验证了模型解释和人类解释在对比性和非对比性设置下的一致性。

Oct, 2023

模型可解释性的对照解释

该研究提出了一种利用潜空间对分类模型进行对比解释的方法，可以对输入的文本进行高、低级别的概念和属性归纳分析，以实现更准确、细粒度的模型可解释性。