Apr, 2024

基于 BERTology 模型的三阶段框架下的软件提及识别（SOMD 2024）

PDF
TL;DR本文通过使用不同的预训练语言模型（BERT，SciBERT 和 XLM-R）提出了三个方法来解决学术出版物中软件提及检测的子任务 I。我们的最佳系统通过一个三阶段框架来解决命名实体识别问题，实验证明我们的方法在官方数据集上取得了竞争性的性能，超过了其他参赛队伍和我们的替代方法，基于 XLM-R 模型的框架达到了 67.80% 的加权 F1 得分，在软件提及识别任务中获得了第三名。
发现论文，激发创造
  • 学术文件中的软件提及检测的 Falcon 7b

    通过研究 Falcon-7b 在学术文本中检测和分类软件提及的应用，本研究的主要目标是解决软件提及检测在学术出版物中的子任务一，即从学术文献中识别和分类软件提及。通过综合实验，本论文探讨了不同的训练策略，包括双分类器方法、自适应抽样和加权损失缩放，以提高检测准确性并克服类别不平衡和学术写作的复杂语法等问题。研究结果强调了选择性标注和自适应抽样在改善模型性能方面的益处。然而，研究还表明，整合多种策略并不一定会累积改进。该研究为特定任务如 SOMD 的大型语言模型的有效应用提供了见解，突出了解决学术文本分析中所面临的独特挑战的个性化方法的重要性。

    May, 2024

  • VTCC-NLP 参加 NL4Opt 竞赛子任务 1：命名实体识别的集成预训练语言模型

    本文使用三个预训练的语言模型（XLM-R、BART 和 DeBERTa-V3）作为上下文嵌入的增强，用于命名实体识别，最终在 NL4Opt 竞赛子任务 1 上取得了 92.9％ 的 F1 得分，并排名第五。

    Dec, 2022

  • 科学命名实体识别的分层 Transformer 模型

    使用 BERT 和 transformer 层的简单和有效的 Named Entity Recognition 方法在计算机科学和生物医学领域的三个基准数据集上优于当前最先进技术，无需外部资源或特定数据增强。

    Mar, 2022

  • 神经式提及检测

    本篇论文提出了三种基于神经网络的提及检测方法，并在共指消解和 NE 嵌套任务中进行了评估和应用，基于最佳方法得出的模型在提高性能方面表现出色。

    Jul, 2019

  • 德国 BERT 法律命名实体识别模型

    本研究 fine-tune 了一个受欢迎的德语 BERT 语言模型，用于 Legal Entity Recognition（LER）数据集，结果表明我们的模型在 LER 任务上表现比 BiLSTM-CRF+ 模型更优，并通过 HuggingFace 对外公开。

    Mar, 2023

  • SemEval-2023 任务 3 的英国谢菲尔德 VeraAI 团队：新闻体裁、主题和说服技巧分类的单语和多语方法

    研究使用多语言集成模型，针对 SemEval-2023 任务 3：在在线新闻中检测类别、框架和说服技巧。在三个子任务中，使用 RoBERTa 和 mBERT 等方法，分别在不同语言中获得前几名的结果。

    Mar, 2023

  • 增强的 BERT 嵌入用于学术出版物分类

    本研究报告介绍了基于预训练语言模型的转移学习方法在学术文献分类中的运用。通过丰富数据集、使用不同的预训练语言模型，并调整超参数，研究发现 fine-tuning 预训练模型可以显著提高分类性能，其中 SPECTER2 模型效果最佳。此外，将额外的元数据加入数据集，尤其是来自 S2AG、OpenAlex 和 Crossref 的信息，可以进一步提高分类结果。本研究对于构建可靠的自动化学术出版物分类系统具有重要意义，为研究人员高效定位相关资源提供了潜在解决方案。

    May, 2024

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • 联合语音翻译和命名实体识别

    本篇论文提出了多任务模型将直接语音翻译和命名实体识别相结合，并与传统串行方法进行了对比，在不降低翻译质量的情况下，在命名实体识别任务上显著提高了性能。

    Oct, 2022

  • Qtrade AI 在 SemEval-2022 任务 11 中：多语言命名实体识别任务的统一框架

    本文介绍了我们在 SemEval 2022 Task 11：MultiCoNER Multilingual Complex Named Entity Recognition 中取得的成果，即：在多语言 NER 任务中，提供了一个统一的框架；在低资源代码混合 NER 任务中，采用了几种简单的数据增强方法；在中文任务中，提出了一种可以捕捉中文词汇语义、词汇边界和词汇图结构信息的模型。最后，我们的系统在子任务 11、12 和 9 的测试阶段分别获得了 77.66、84.35 和 74.00 的宏 F1 得分。

    Apr, 2022