Nov, 2019

显式配对词交互建模改善预训练 Transformer 在英语语义相似性任务中的性能

PDF
TL;DR本研究使用 BERT 模型，通过引入显式的有限制的单词成对交互机制，提高了语义相似度和答案句子选择等 4 项任务的性能。
发现论文，激发创造
  • 针对词级语义相似性的无监督预训练模型专业化

    本研究将外部词汇知识与 BERT 模型的多任务学习相结合，提出了一种 “词汇知情” 的 BERT（LIBERT）模型，比起原始 BERT 在多项语言任务和词汇简化任务中均有显著提高。

    Sep, 2019

  • 基于激活和显著性图解释基于 BERT 的文本相似性

    本研究利用预训练的 BERT 模型提出了一种无监督的技术来解释段落相似性，该方法被广泛应用于数据集，证明了其在识别重要语义单词、匹配和检索关键词等方面表现优异，能够更准确地解释与人类感知相关的相似性预测。

    Aug, 2022

  • Transformer 模型中的文本相似度解释

    通过利用改进的解释，在语义相似性任务和模型中进行深入分析和语料库级别洞察，并使用分层相关传播（LRP）来验证结果解释的有效性，本研究探索了驱动语义相似性的特征相互作用。

    May, 2024

  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 从 BERT 中引出关系知识

    该研究使用一种方法从预训练语言模型中提取关系知识，通过使用大量文本语料库，我们提取句子作为模板，并通过微调语言模型来预测一对词是否是某个关系的实例。

    Nov, 2019

  • 利用词语语义丰富汉语预训练模型的字表示

    本文提出了一种新的方法，利用单词结构并将词汇语义融入预训练模型的字符表示中，以加强单词信息的表达，通过词 - 字符对齐注意机制和集成方法来提高不同中文自然语言处理任务的性能，并进一步证明了模型各组件的有效性。

    Jul, 2022

  • pair2vec: 用于跨句子推断的组合词对嵌入

    通过最大化点对互信息来学习和使用单词对的嵌入表示，将这些表示添加到现有的推理模型的跨句子注意力层中，以取得更好的性能，特别是在对抗数据集方面。

    Oct, 2018

  • 利用 Twitter 作为大语料库的来源，用于语义句子嵌入中的弱相似对

    本文提出了以 Twitter 数据集为基础的无监督 Transformer 模型，通过解析 Twitter 回复和引用语句来构建海量的非正式文本句子的成对数据集，从而训练生成的语义句子向量，不仅在经典语义文本相似度任务中表现出色，而且在非精确参数化相似句子任务上表现突出。

    Oct, 2021

  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023