Aug, 2022

基于激活和显著性图解释基于 BERT 的文本相似性

PDF
TL;DR本研究利用预训练的 BERT 模型提出了一种无监督的技术来解释段落相似性，该方法被广泛应用于数据集，证明了其在识别重要语义单词、匹配和检索关键词等方面表现优异，能够更准确地解释与人类感知相关的相似性预测。
transformer-based modelsembeddingstext similarityunsupervised techniquebert models
发现论文，激发创造
  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • Transformer 模型中的文本相似度解释

    通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

    May, 2024

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 专利相似性的嵌入模型比较分析

    该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

    Mar, 2024

  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • BERT 的通用文本表示：一项实证研究

    该论文系统地研究了面向通用文本表示的分层 BERT 激活，以了解其捕获的语言信息以及它们在不同任务之间的可转移性。在下游和探测任务中，句子级别的嵌入与两个最先进的模型进行了比较，而段落级别的嵌入则在四个问答（QA）数据集上进行了学习排名问题设置的评估。结果表明，将预训练的 BERT 模型微调于自然语言推断数据上可以显著提高嵌入的质量。

    Oct, 2019

  • 显式配对词交互建模改善预训练 Transformer 在英语语义相似性任务中的性能

    本研究使用 BERT 模型，通过引入显式的有限制的单词成对交互机制，提高了语义相似度和答案句子选择等 4 项任务的性能。

    Nov, 2019

  • 从自然出现的商业对话中提取相似问题

    我们使用经过适当调整的表示方法和少量示例来对商业用户感兴趣的问题进行分组，并制作可用于数据探索或员工培训的可视化。

    Jun, 2022