Jul, 2022

基于 Transformer 的大语料库语义相似度分析的认知研究

PDF
TL;DR本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。
semantic similarity analysisneural networkstransformersu.s patent phrase to phrase matching datasetdecoding enhanced bert
发现论文，激发创造
  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023

  • 专利相似性的嵌入模型比较分析

    该研究在文本专利相似性领域有两方面的贡献：首先，它比较了不同类型的专利特定预训练嵌入模型，包括静态词嵌入（如 word2vec 和 doc2vec 模型）和上下文词嵌入（如基于 transformers 的模型），在专利相似性计算任务上的性能；其次，它比较了 Sentence Transformers（SBERT）架构在专利相似性任务上不同训练阶段的性能。结果表明，该研究提出的专利 SBERT-adapt-ub，即预训练 Sentence Transformer 架构的领域自适应，优于当前专利相似性的最新技术水平。其次，研究结果显示，在某些情况下，大型静态模型在训练大量数据时仍可以与上下文模型相媲美；因此，我们认为上下文嵌入在性能上的优势可能与实际架构无关，而是与训练阶段的方式有关。

    Mar, 2024

  • 语义答案相似度度量评估

    提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

    Jun, 2022

  • 情境化的词义感知：从注意力到组合性

    使用语义组合性建模的透明、可解释和语言学动机策略，模拟词的上下文意义编码，并且与复杂神经结构下的黑盒模型相比，显示其与语言学动机模型在给定语义任务中的竞争力。

    Dec, 2023

  • KERMIT -- 一种基于 Transformer 的知识图谱匹配方法

    利用预训练的句子转换器生成匹配候选项，接着使用优化的双重编码器来生成最佳匹配项以便自动匹配知识图谱和本体论。在多个数据集上进行了验证并展示了可行性和卓越的结果。

    Apr, 2022

  • 基于激活和显著性图解释基于 BERT 的文本相似性

    本研究利用预训练的 BERT 模型提出了一种无监督的技术来解释段落相似性，该方法被广泛应用于数据集，证明了其在识别重要语义单词、匹配和检索关键词等方面表现优异，能够更准确地解释与人类感知相关的相似性预测。

    Aug, 2022

  • 基于 Transformer 和同义词词林语义元知识融合的语义一致性联合识别

    本研究提出一种基于 Transformer 和 HowNet sememes 知识融合的协同驱动语义一致性识别方法，通过多层编码、交互式注意力计算和双向 LSTM 等技术，可以有效提高语义一致性识别的准确性并减小模型参数，适用于长文本场景和对语义一致性进行鉴别。

    Feb, 2023

  • T-VSE: 基于 Transformer 的视觉语义嵌入

    本文研究了基于 Transformer 模型的跨模态图文检索问题，发现在大规模电商产品数据集上，相比于 RNN 等传统语言模型以及简单的平均词向量模型，基于 Transformer 的跨模态嵌入表现更加优秀。

    May, 2020

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 利用 Transformers 自然语言处理方法对巴西法院文件进行相似性聚类

    本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

    Apr, 2022