Jun, 2024

从数学文本中微调 BERT 模型进行定义提取

PDF
TL;DR本研究使用三种预训练的 BERT 模型对数学英语 (使用 LaTeX 编写) 的 “定义提取” 任务进行微调，将其作为一个二元分类问题。通过对原始数据集 “芝加哥” 和 “TAC” 的微调和测试，以及与 Vanetik 和 Litvak 在 2021 年提出的 WFMALL 数据集的对比测试，我们发现高性能的 Sentence-BERT transformer 模型在整体准确度、召回率和精确度等指标上表现最佳，且相较于早期模型，所需的计算资源更少。
pre-trained bert modelsdefinition extractionmathematical englishbinary classification problemsentence-bert transformer model
发现论文，激发创造
  • UPB 在 SemEval-2020 任务 6 中：预训练语言模型用于定义提取

    本研究使用多个预训练语言模型，包括 BERT、XLNet、RoBERTa、SciBERT 和 ALBERT，通过冻结和微调它们的权重，并探索多任务架构，以解决 SemEval-2020 中的三个 DeftEval 子任务，最终取得 32 和 37 名的成绩。

    Sep, 2020

  • 利用 Transformer 提取数学学术文章中的定义

    我们考虑从学术论文的文本中自动识别数学定义中的明确术语。我们将问题作为（a）使用微调的预训练变压器进行令牌级分类任务，以及（b）使用通用大型语言模型（GPT）进行问答任务来解决。我们还提出了一种基于规则的方法，通过从论文的 LATEX 源代码构建一个带标签的数据集。实验结果表明，使用最近（和昂贵的）GPT 4 或在我们的任务上进行微调的较简单的预训练模型均可以达到高精度和召回率的水平。

    Nov, 2023

  • 如何为文本分类微调 BERT?

    研究 BERT 语言模型在文本分类任务上的微调方法，提供一般的解决方案，并在 8 个广泛研究的文本分类数据集上取得了最新的最好结果。

    May, 2019

  • MathBERT：用于数学教育中通用自然语言处理任务的预训练语言模型

    本研究的目的是为了提高应用自然语言处理在数学教育中的效果，我们提出了 MathBERT，一种专门针对数学文本域的预训练模型。MathBERT 在基于数学语料库上的三个自然语言处理任务中表现出优异的性能，我们还采用了一种数学特定的词汇表来进一步提高模型的性能。我们公开了 MathBERT 的模型参数以供公众使用。

    Jun, 2021

  • MathBERT：数学公式理解的预训练模型

    提出了一种新的预训练模型 MathBERT，该模型通过联合训练数学公式及其上下文信息，并根据操作树中提取的掩码公式子结构进行设计，以捕捉公式的语义结构特征，同时在数学信息检索、公式主题分类和公式标题生成等三个任务中取得了显著的超出现有方法的表现

    May, 2021

  • 科技写作支持的语言模型微调

    本文提出了一种基于回归模型的科技句子识别方法，研究了科技公式和引文对于科技性评分的影响，构建了一种 AI 和机器学习标准文章版面的映射，提出了一种改进写作风格的软件，并训练了各种大型语言模型。

    Jun, 2023

  • BERT 用于证据检索和主张验证

    本研究针对 FEVER 事实抽取和验证挑战，探讨了使用预训练语言模型 BERT 实现证据检索和主张验证的方法，并使用 pointwise 和 pairwise 损失函数进行模型训练。实验结果表明，我们的系统在使用 50K Wikipedia 页面的 FEVER 文档进行前五个句子的检索时实现了 87.1 的最新召回率，并在官方排行榜中获得了 FEVER 得分 69.7 的第二名。

    Oct, 2019

  • 有限数据下的信息提取迁移学习

    本文提出了一种通过使用转移学习的方法，并结合深度神经网络和统计分类器的结合来进行信息提取，将该方法应用于日本政府工程竞标实际案例的文档处理中，证明了该模型能够提取具有详细信息精度的细粒度命名实体。

    Mar, 2020

  • 微调 BERT 用于抽取式摘要

    本文提出了 BERTSUM，即 BERT 的摘要变体，通过在 CNN / Dailymail 数据集上的评估证明其在提取性摘要方面超越了现有的最佳系统。

    Mar, 2019

  • UHH-LT 在 SemEval-2020 任务 12 中：针对攻击性语言检测的预训练 Transformer 网络微调

    本文采用预训练 transformer 网络，使用无监督的 MLM 任务进行微调，提高该网络在检测攻击性语言的任务上的性能，取得可观的成果。

    Apr, 2020