EMNLPOct, 2022

高度技术领域的非监督术语提取

PDF
TL;DR本文介绍了一个商业知识发现平台的术语提取子系统，采用全面且无监督注释器来跨越高度技术领域。该注释器通过将子词分词的新颖形态信号与使用通用领域预训练句子编码器计算的术语和主题以及内部术语相似度度量相结合，提取术语。通过在大型未标记语料库上运行 UA 生成的训练数据进行变压器模型的微调或预训练，使得此设置能够提高预测性能，同时减少 CPU 和 GPU 的推理延迟。该注释器为所有未标注语料库提供了非常有竞争力的基线。
term extractionunsupervised annotatorknowledge discoverymorphological signalstransformer-models
发现论文，激发创造
  • 从技术领域的术语和短语中提取文本表示

    本文提出了一种全无监督的文本编码方法，通过训练小型基于字符的模型重构预训练的嵌入矩阵，该方法不仅能够在技术领域匹配句子编码器的质量，而且比后者体积小 5 倍且速度高达 10 倍，解决了大规模技术领域下词汇量增加的问题。

    May, 2023

  • 半监督神经标记的科学信息提取

    本文通过将问题建模为序列标注，并利用半监督学习方法和数据选择方案，提出了一个基于神经标注模型的关键短语提取和分类算法，该算法在 2017 年 SemEval 科学信息抽取任务中明显优于现有信息抽取方法。

    Aug, 2017

  • 弱监督域名检测

    本文提出了域检测作为一项新的自然语言处理任务，介绍了编码器 - 检测器框架结合多实例学习的域检测模型，并应用于不同粒度、语言和体裁的文本中，展示了域检测在文本摘要中的潜力。

    Jul, 2019

  • 使用句向量进行简单的无监督关键短语抽取

    本文提出了一种新颖的无监督方法，即 EmbedRank，通过使用句子嵌入从单个文档中提取关键短语，进而在标准数据集上实现了比基于图的现有系统更高的 F-score，适用于实时处理大量 Web 数据，并通过引入基于嵌入的最大边际相关性来明确地增加所选关键短语的覆盖率和多样性，200 份投票的用户调查表明，我们的高多样性选择得到人类的接受。

    Jan, 2018

  • 自动术语提取的最新进展：一项调查

    本文就基于深度学习和基于 Transformer 模型的 ATE 系统进行了综述，并对比了之前基于特征工程和非深度学习算法的 ATE 系统。

    Jan, 2023

  • 一种高效的领域无关的监督关键词抽取和排序方法

    我们提出了一种基于监督学习的自动提取文档关键词短语的方法，该方法利用候选短语的简单计算的统计和位置特征，不依赖于任何外部知识库、预训练的语言模型或词嵌入。在基准数据集上的评估显示，我们的方法达到了明显较高的准确性，相对于包括所有基于深度学习的无监督模型在内的多个最新方法，它与一些基于监督深度学习的模型也具有相竞争性。尽管我们的方法是基于监督的，但它不依赖于任何 “黄金” 关键词语料库或外部知识语料库的事实，使得我们的方法在很大程度上具备了无监督方法的优势。

    Mar, 2024

  • 使用知识图谱增强的 Transformer 进行跨领域方面提取

    本文介绍了一种自动构建领域特定知识图谱的方法，并通过将其注入到 Transformer 模型中以识别 aspect terms，提高了跨域情感分析中的性能表现。

    Oct, 2022

  • 预训练语言模型中的无监督域聚类

    本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

    Apr, 2020

  • 跨领域自动术语提取中的 Transformer 集成

    本文在多语言跨领域设置中，提出了基于 Transformers 预训练语言模型的术语抽取的预测能力的比较研究。实验结果表明，除了荷兰语和法语之外，在所有语言中应用单语言模型的策略优于利用多语言模型的最先进方法。此外，将两个最佳模型的输出组合起来，可以取得显著的改进。

    Dec, 2022

  • 高度异质性文档集的探索性分析

    使用智能标记、基于机器学习和自然语言处理的 unsupervised 和 supervised 的标记策略，以及强大的 faceted 浏览框架，为高度异构文档集合提供了一种有效的多方面系统，其中重要的标记策略之一是 KERA 算法，如果让用户进行 buried 在海量不同信息中的军事关键技术文档定位，证明我们的系统是有效的。

    Aug, 2013