Jan, 2023

TopoBERT：基于 Fine-tuned BERT 的即插即用地名识别模块

PDF
TL;DR本文提出了一种基于一维卷积神经网络（CNN1D）和来自 Transformer 的双向编码器表示（BERT）的地名识别模块 TopoBERT，通过 fine-tuned 的方式在三个数据集上得到最优结果，比其他五个基线模型表现更出色，可以应用于多种地名识别任务。
toponym extractiongeographical informationpretrained language modelscnn1dbert
发现论文，激发创造
  • 拓扑 BERT：将注意力转化为拓扑以用于自然语言处理

    本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。

    Jun, 2022

  • 使用 BERT 实现通用语言命名实体识别

    本文研究了一种基于多语言 BERT 的单一命名实体识别模型，使用多任务学习和分块更新规则等正则化策略优化模型，并证明在多种语言数据集上表现优于专注于单一语言模型，并能够进行零样本预测。

    Nov, 2019

  • TocBERT: 使用双向转换器进行医疗文档结构提取

    TocBERT 是一个使用双向转换器进行文本分割的新解决方案，它通过从语义表示中检测标题和子标题来训练一个监督式的解决方案，该任务被制定为命名实体识别（NER）问题。它在医学文本分割应用中表现出色，用于细调 Bio-ClinicalBERT 模型以分割 MIMIC-III 数据集的出院总结，并在人工标注的 250 个注释数据集上取得了较高的 F1 分数。在线性文本分割问题上达到了 84.6％的 F1 分数，在分层文本分割问题上达到了 72.8％的 F1 分数，它在区分标题和副标题方面表现出色，超越了仔细设计的基于规则的解决方案。

    Jun, 2024

  • 通过更好的候选生成和基于 Transformer 的重新排序以及两阶段解析提高地名解析能力

    GeoNorm 是一种新的地理编码体系结构，它使用了信息检索技术来生成地理空间本体库中的候选条目列表，然后使用基于变压器的神经网络重新整理这些条目，该神经网络融合了本体库的信息，例如条目的人口。我们提出的地名解析框架在多个数据集上实现了最先进的性能。

    May, 2023

  • 利用 BERT-Based 模型预测推文的地理位置

    使用神经网络、自然语言处理以及高斯混合模型，对推特文本中的地理位置进行预测，在全球范围以及美国范围内实验结果的中位误差分别小于 30 公里和 15 公里。

    Mar, 2023

  • 德国 BERT 法律命名实体识别模型

    本研究 fine-tune 了一个受欢迎的德语 BERT 语言模型，用于 Legal Entity Recognition（LER）数据集，结果表明我们的模型在 LER 任务上表现比 BiLSTM-CRF+ 模型更优，并通过 HuggingFace 对外公开。

    Mar, 2023

  • 通过检查注意力图的拓扑来检测人工文本

    利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

    Sep, 2021

  • 基于 BERT 的生物医学实体标准化排名

    本研究中，我们提出了一种实体归一化架构，通过微调预训练的 BERT/BioBERT/ClinicalBERT 模型，并使用三种不同类型的数据集进行了广泛的实验，评估了预训练模型用于生物医学实体归一化的有效性。我们的实验结果表明，最佳微调模型始终优于以前的方法，并提高了生物医学实体规范化的最新水平，精确度提高了高达 1.17％。

    Aug, 2019

  • 多语言变压器和 BERTopic 用于短文本主题建模：塞尔维亚案例

    该论文采用 BERTopic 主题建模技术对塞尔维亚语的短文本进行了首次应用，结果表明在部分预处理的情况下，BERTopic 可以提供信息丰富的主题。与 LDA 和 NMF 相比，BERTopic 提供了更多有信息量的主题，并在主题数不受限制时提供新的见解。这些研究结果对于处理其他形态丰富的低资源语言和短文本的研究者具有重要意义。

    Feb, 2024

  • TourBERT：面向旅游业的预训练语言模型

    本文介绍了 TourBERT，它是一种旅游专用的预训练语言模型，评估表明，TourBERT 在所有旅游特定任务中均优于 BERT。

    Jan, 2022