TNT-KID: 基于 Transformer 的神经网络标签器用于关键词识别

Mar, 2020

TNT-KID: 基于 Transformer 的神经网络标签器用于关键词识别

TNT-KID: Transformer-based Neural Tagger for Keyword Identification

Matej Martinc, Blaž Škrlj, Senja Pollak

TL;DR本研究提出了一种基于 transformer 框架和领域特定文本预训练的新型关键词提取算法 ——Transformer-based Neural Tagger for Keyword IDentification (TNT-KID), 有效地解决了现有的监督和无监督学习方法在关键词提取上所存在的不足，而且只需要较少的手动标注数据，在多个数据集上达到了较优的表现，并对其内部机制进行了详细的误差分析和关键组件消融实验。

Abstract

With growing amounts of available textual data, development of algorithms capable of automatic analysis, categorization and summarization of these data has become a necessity. In this research we present a novel algorithm for keyword identification, i.e., an extraction of one or multi-word phrases representing key aspects of a given document, called Transfor

keywords identification transformer-based neural tagger textual data analysis supervised and unsupervised learning domain-specific corpus

发现论文，激发创造

使用 TF-IDF 标签集匹配扩展神经关键字提取

本文介绍了一种基于神经网络等新方法提取关键词的技术，在欧洲新闻媒体产业中的应用展示出了相当不错的实用效果。

Jan, 2021

关键词变换器：一种自注意力模型用于关键词检测

本研究旨在将 Transformer 架构应用于关键词检测中，引入了全自注意力架构，即 Keyword Transformer (KWT)，其不需要任何预训练或额外数据即可超越多项任务的现有表现，并在几种复杂模型中表现最好。通过在 Google 语音命令数据集上的表现，证明了该模型的优越性。

Apr, 2021

神经关键词生成：分析与评估

本文研究了三种强大的编码 - 解码模型 (T5、 CatSeq-Transformer 和 ExHiRD) 的性能和行为，分析了预测置信度得分、模型校准和密钥短语生成的令牌位置对其的影响，提出了一个新的度量框架 SoftKeyScore。结果表明，相比于标准的 F1 指标，SoftKeyScore 更适合用于评估两组给定关键词。

Apr, 2023

基于 Transformer 的文本摘要技术用于关键词生成

本研究测试了四个基准数据集，使用流行的基于 Transformer 的模型进行抽象文本摘要，以实现关键词提取的目的，并将结果与常见无监督和有监督方法进行比较。研究结果表明，这些摘要模型非常有效地生成关键词，但它们产生的大量单词都不在作者的关键词列表中，这使得摘要模型在 ROUGE-1 方面效果不佳。此外，对于几种排序策略进行调查的结果表明，策略的选择会影响关键词生成的性能。

Sep, 2022

TKN: 基于 Transformer 的关键点预测网络用于实时视频预测

本文介绍了一种基于 transformer 框架的关键点预测神经网络，该网络是一种无监督学习方法，通过约束信息提取和并行预测方案来提高预测过程，是目前我们所知的第一个实时视频预测解决方案，能够以比现有方法快 11 倍的速度进行预测，并将内存消耗降低 17.4％，并在 KTH 和 Human3.6 数据集上达到了领先水平的预测性能

Mar, 2023

一种基于 Transformer 和技术词信息的知识产权实体识别方法

本文提出了一种基于 Transformer 和技术词信息的知识产权实体抽取方法，并结合 BERT 语言方法提供准确的词向量表示。该方法通过引入相对位置编码的 Transformer 编码器，可以从词向量序列中学习文本的深层语义信息，并实现实体标签预测，从而提高了实体识别的准确性。

Mar, 2022

一瞥即足够：通过关注关键词提取目标句子

本研究使用关键词作为输入，探讨从多人说话中提取目标句子的可能性。通过使用 Transformer 架构嵌入关键词和语音，以及借助交叉注意机制从混杂与重叠的语音中选择正确的内容，实验证明该方法在非常嘈杂和混合的语音中（SNR=-3dB）能够有效提取目标句子，达到 26% 的电话错误率（PER），而基准系统的 PER 为 96%。

Oct, 2023

上下文的清晰度：使用反向上下文数据生成 Transformer 模型的句子

在信息丰富的时代，能够为用户提供相关而简洁的信息至关重要。通过使用 T5 变换器模型和从 Context-Reverso API 获得的数据，我们提出了一种生成给定关键词的明确且简明上下文句子的新方法，该方法在搜索引擎、个人助理和内容摘要等生成应用中起到重要作用。代码可在此 https 联机地址获得。

Mar, 2024

面向话题和知识的对话情感检测 Transformer

本文提出了一种名为 Topic-Driven Knowledge-Aware Transformer 的模型，包含一种话题增强语言模型、基于对话情境信息的常识语句和一种转换器，用于识别情感标签序列中的话题和情感状态。实验结果表明，该模型在对话情感检测方面表现优于现有的最先进方法。

Jun, 2021

深度关键词生成

本研究提出了一种基于编码 - 解码框架的生成模型来预测文本的关键短语，从而能够有效地捕捉其深层语义含义，并能够识别没有在文本中出现但基于语义意义的内容。

Apr, 2017