May, 2022

使用图感知变压器进行多语言词汇搭配的提取和分类

PDF
TL;DR本文将序列标记 BERT 模型与图形感知变压器架构相结合，用于识别语境中的词汇搭配。实验结果表明，显式地编码句法依存结构对模型性能有帮助，并提供英语、西班牙语和法语词汇搭配类型区别的见解。
lexical collocationssequence taggingbert-based modelgraph-aware transformer architecturecollocation recognition
发现论文，激发创造
  • 使用基于图谱的上下文信息增强语言模型以更好地理解文本数据

    本研究实验证明在 BERT 模型中加入基于图形的上下文信息会提高模型性能，并在 Pubmed 数据集上取得了 8.51％到 7.96% 的错误率减少，同时仅增加 1.6％的参数。

    May, 2023

  • 多语言 BERT 模型的词形句法探测

    本研究介绍了一个广泛的多语言探测词形信息数据集，利用预训练变形金刚模型（mBERT 和 XLM-RoBERTa），并应用两种方法确定输入中区别信息的位置以实现强大的性能。其中最显著的发现是前缀上下文持有比后缀上下文更多相关预测信息。

    Jun, 2023

  • 在多语言 BERT 中发现通用语法关系

    本研究针对多语言 BERT 的序列到序列建模进行实验，证实其不需要训练就能够实现跨语言的转化，并提出一种无监督的分析方法，证明 Multilingual BERT 可以学习到一定的语言普遍规律。

    May, 2020

  • 将动态词典加入 BERT 用于序列标记

    本文提出了 DyLex：一种适用于基于 BERT 的序列标注任务的插件词库融合方法，避免了大规模动态词库的噪声和更新问题，采用了无关单词的标签嵌入和监督词库去噪方法，并引入基于列的注意力机制来保证该框架的可插入性。实验结果表明，该框架即使与非常大的词库一起使用也实现了最新的 SOTA 效果。

    Sep, 2021

  • 基于同源 Transformer 的自动同源检测作为有监督的链接预测任务

    基于转换器的架构用于自动认知检测任务，在一定程度的监督下，该方法比现有方法表现更好，证明了利用标记信息的效果，并且通过接受多个序列对齐作为输入和具有链接预测头的端到端架构可以节省大量计算时间并同时产生更好的性能。

    Feb, 2024

  • 跨领域自动术语提取中的 Transformer 集成

    本文在多语言跨领域设置中，提出了基于 Transformers 预训练语言模型的术语抽取的预测能力的比较研究。实验结果表明，除了荷兰语和法语之外，在所有语言中应用单语言模型的策略优于利用多语言模型的最先进方法。此外，将两个最佳模型的输出组合起来，可以取得显著的改进。

    Dec, 2022

  • 结合语言和图模型进行 Web 上的半结构化信息提取

    关系抽取是一种从网络上挖掘人类知识的高效方式，本文提出了一种名为 GraphScholarBERT 的开放领域信息抽取方法，它能够从半结构化的网页中提取目标关系，并能在未见过的领域中进行泛化，无需额外数据或训练，并且与搜索关键词完全匹配。实验证明，GraphScholarBERT 在零射击域和零射击网站情境下，相比以往的方法，可以提高抽取的 F1 分数达 34.8%。

    Feb, 2024

  • Galician BERT 模型在句法能力与训练时间交互界面的计算心理语言学评估

    本文探讨 Transformer 模型在捕捉加利西亚语中的主谓和名词形容词一致性依赖方面的能力，并通过一系列词语预测实验来评估加利西亚语的现有单语和多语模型的性能，并对不同训练点上两个单语 BERT 模型的不同成就程度进行比较，得出了所需的训练步骤的有趣见解。

    Jun, 2022

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 用于跨语言评估的基于逻辑的语料库

    本文提出了一种新的语法任务集，专注于矛盾检测，并评估了递归模型和 BERT 网络。虽然 BERT 在大多数逻辑形式上具有更好的泛化效果，但在处理计数算子时仍有待改进，同时表明该语法任务可以在不同的语言中实现并实现跨语言传递学习。

    May, 2019