Transformer 模型中的文本相似度解释

ACLMay, 2024

Transformer 模型中的文本相似度解释

Explaining Text Similarity in Transformer Models

Alexandros Vasileiou, Oliver Eberle

TL;DR通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

Abstract

As transformers have become state-of-the-art models for natural language processing (NLP) tasks, the need to understand and explain their predictions is increasingly apparent. Especially in unsupervised applications, such as information retrieval tasks, →

transformers explanations similarity models layer-wise relevance propagation semantic similarity tasks

发现论文，激发创造

构建和解释深度相似性模型

提出了一种名为 BiLRP 的可解释聚类算法，通过将相似性得分分解为输入特征，使相似性得分可解释，可以应用于训练模型和数字人文领域的历史文献相似度评估。

Mar, 2020

通过点亮重要信息更好地解释 Transformers

提出了一种在层间相关传播 (LRP) 方法的基础上通过细化信息流来突出重要信息并消除无关信息，实验结果表明，与八个基准方法相比，在分类和问答数据集上我们的方法始终表现出超过 3% 到 33% 的解释指标的提升，提供了更好的解释性能。

Jan, 2024

关于语言模型在视觉概念语义相似度评估方面的可解释性研究

这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

Sep, 2022

文本处理与检索方法的可解释性：一项关键调查

本文全面调研了针对词嵌入、序列建模、注意力模块、Transformer、BERT 以及文档排名的机器学习和自然语言处理研究的可解释性和解释性方法，最后提出了未来的研究方向。

Dec, 2022

解释 Transformer 如何利用上下文来建立预测

本文使用 Transformer 的最新可解释性进展提出了分析语言生成模型的过程，并使用对比实例比较了我们的方法与渐变和扰动基线的解释的一致性，结果表明我们的方法具有更好的表现。最后，我们将该方法应用于神经机器翻译模型，并展示了生成人类相似的源 - 目标对齐结果的能力。

May, 2023

基于激活和显著性图解释基于 BERT 的文本相似性

本研究利用预训练的 BERT 模型提出了一种无监督的技术来解释段落相似性，该方法被广泛应用于数据集，证明了其在识别重要语义单词、匹配和检索关键词等方面表现优异，能够更准确地解释与人类感知相关的相似性预测。

Aug, 2022

大型语言模型的可解释性概述

对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

Sep, 2023

基于 Transformer 的大语料库语义相似度分析的认知研究

本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

Jul, 2022

基于 Bert 的上下文对词相似度影响的精准预测模型

本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

May, 2020

语言模型的可视化与解释

本文介绍了一些最流行的自然语言处理的深度学习可视化技术，并强调其可解释性和可解释性。

Apr, 2022