Jun, 2023

利用 Transformer 根据出版数据映射研究人员活动

PDF
TL;DR本研究应用基于 Transformer 的预训练语言模型 BERT 探究了本地出版数据库中的科研话题，并通过计算文章相似度对研究人员进行了聚类，引入了作者自相似概念以表示他们的主题变化。
transformer-based pre-trained language modellocal publication databasescientific topicssimilarity metricself-similarity
发现论文，激发创造
  • 基于 Transformer 的大语料库语义相似度分析的认知研究

    本文利用传统技术和转换器技术对美国专利短语进行语义相似性分析和建模，并对 Decoding Enhanced BERT（DeBERTa）的四种不同变体进行实验，在此基础上通过 K 次交叉验证提高性能，实验结果表明我们的方法比传统技术更具有优越性，平均 Pearson 相关系数为 0.79。

    Jul, 2022

  • 利用 Transformers 自然语言处理方法对巴西法院文件进行相似性聚类

    本研究运用 BERT、GPT-2 和 RoBERTa 等 6 种转换器以及 21 万份法律诉讼专业化训练模型，通过将文件预处理十分相似的信息转化为向量、使用无监督学习方法聚类控制进行法律领域的词语判定，体现出转换器模型的优点。在这其中，RoBERTa 模型得到了进一步发展，成为了本研究的重要部分。

    Apr, 2022

  • 基于激活和显著性图解释基于 BERT 的文本相似性

    本研究利用预训练的 BERT 模型提出了一种无监督的技术来解释段落相似性，该方法被广泛应用于数据集，证明了其在识别重要语义单词、匹配和检索关键词等方面表现优异，能够更准确地解释与人类感知相关的相似性预测。

    Aug, 2022

  • 使用变换器进行系统性文献筛选

    我们开发了一种建立通用筛选系统的方法，该系统可以根据研究问题中描述的内容需求，将其与广泛搜索词应用所得到的候选文章进行匹配。我们的结果表明，预训练于生物医学文献并针对特定任务进行微调的转换器模型为解决这个问题提供了有希望的解决方案，能够过滤大量的无关文章。

    May, 2024

  • 研究论文的基于方面的文档相似度

    本研究介绍了一种基于方面信息的相似度扩展方法，使用 Transformer 模型和 LSTM 基线评估了 172,073 份论文的相似度，结果表明 SciBERT 是最有效的系统，这种基于方面信息的相似度扩展方法可以为文献推荐系统提供更高的粒度和准确度。

    Oct, 2020

  • 生物医学关系抽取方法和模型比较及其在知识图谱构建中的应用

    本研究介绍比较了在构建知识图谱中用于从生物医学文献中提取关系方面的一些基于规则和基于机器学习的方法，例如：朴素贝叶斯、随机森林、DistilBERT、PubMedBERT、T5、SciFive 等，通过实验检测不同方法的适用性和鲁棒性。结果表明，基于 transformers 的模型（如 PubMedBERT）在处理小型和不平衡的数据时表现较好。其中，在平衡数据上，PubMedBERT 模型的 F1 得分最高（0.92）。

    Jan, 2022

  • 利用 Transformer 模型集合检测生成的科学论文

    该论文讨论了在第三届学术文档处理研讨会上开展的 DAGPap22 共享任务中开发的神经模型，侧重于比较不同的基于 transformer 的模型并使用附加数据集和技术来处理不平衡的类别，在提交最终版本时，我们使用经过随机过采样技术微调的 SciBERT，RoBERTa 和 DeBERTa 集成模型达到了 99.24% 的 F1 得分，官方评估结果将我们的系统排在第三位。

    Sep, 2022

  • 基于 Bert 的上下文对词相似度影响的精准预测模型

    本文主要探讨了一种分析语境对相似词人类感知影响的方法，使用多种方式计算 BERT 生成的双向编码器表示法的两个嵌入向量之间的距离，研究组在 SemEval 2020 的任务三中赢得了芬兰语语言赛道的第一名和英语语言赛道的第二名。

    May, 2020

  • 电子病历中基于 Transformers 的方法应用：一项系统文献综述

    该文是关于基于 Transformer 的自然语言处理（NLP）应用到电子病历（EMR）领域的最新研究进展的系统文献综述，涵盖了业务问题、NLP 任务、模型和技术、数据集可用性、建模再现性、语言和交换格式等方面。通过分析当前研究的局限性和未来研究建议，该文提供了有关该领域 Transformer-based 方法的综合评估。

    Apr, 2023

  • 提升 Transformer 架构在语义文本相似性方面的性能

    本文针对语义文本相似度的任务，采用 BERT、RoBERTa 和 DeBERTaV3 三种交叉编码器以二分类或回归的方式建模，调整了模型结构和手工特征的输入，旨在提高其准确性，其中就测试数据结果的讨论进行了误差分析。

    Jun, 2023