Nov, 2023

利用 Transformer 提取数学学术文章中的定义

PDF
TL;DR我们考虑从学术论文的文本中自动识别数学定义中的明确术语。我们将问题作为（a）使用微调的预训练变压器进行令牌级分类任务，以及（b）使用通用大型语言模型（GPT）进行问答任务来解决。我们还提出了一种基于规则的方法，通过从论文的 LATEX 源代码构建一个带标签的数据集。实验结果表明，使用最近（和昂贵的）GPT 4 或在我们的任务上进行微调的较简单的预训练模型均可以达到高精度和召回率的水平。
mathematical definitiontransformer-basednatural language processingtoken-level classificationquestion-answering task
发现论文，激发创造
  • 从数学文本中微调 BERT 模型进行定义提取

    本研究使用三种预训练的 BERT 模型对数学英语 (使用 LaTeX 编写) 的 “定义提取” 任务进行微调，将其作为一个二元分类问题。通过对原始数据集 “芝加哥” 和 “TAC” 的微调和测试，以及与 Vanetik 和 Litvak 在 2021 年提出的 WFMALL 数据集的对比测试，我们发现高性能的 Sentence-BERT transformer 模型在整体准确度、召回率和精确度等指标上表现最佳，且相较于早期模型，所需的计算资源更少。

    Jun, 2024

  • 使用变换器进行系统性文献筛选

    我们开发了一种建立通用筛选系统的方法，该系统可以根据研究问题中描述的内容需求，将其与广泛搜索词应用所得到的候选文章进行匹配。我们的结果表明，预训练于生物医学文献并针对特定任务进行微调的转换器模型为解决这个问题提供了有希望的解决方案，能够过滤大量的无关文章。

    May, 2024

  • 消除非正式文档中符号表达式的歧义

    利用 Transformer 语言模型针对 LaTeX 文件中的符号表达式进行自然语言处理并进行语法与语义分析。

    Jan, 2021

  • 用于自动定理证明的生成语言建模

    本文探讨了基于 Transformer 的语言模型在自动定理证明中的应用，提出了基于语言模型的生成能够解决自动定理证明器与人类相比的主要限制之一 —— 原始数学术语的生成问题。我们提出了一个自动证明器和证明辅助工具 GPT-f，使用 Metamath 形式语言，并分析了其性能。 GPT-f 发现了新的简短证明，并被采纳为正式数学社区所接受，这是我们所知道的第一次基于深度学习的系统为正式数学社区做出的贡献。

    Sep, 2020

  • UPB 在 SemEval-2020 任务 6 中：预训练语言模型用于定义提取

    本研究使用多个预训练语言模型，包括 BERT、XLNet、RoBERTa、SciBERT 和 ALBERT，通过冻结和微调它们的权重，并探索多任务架构，以解决 SemEval-2020 中的三个 DeftEval 子任务，最终取得 32 和 37 名的成绩。

    Sep, 2020

  • 数据驱动语音增强方法自动文献综述的实验

    本研究通过使用预训练生成式转换器 (GPT) 模型自动进行文献调研，评估在数据驱动的语音增强方法领域的 116 篇文章上展现的模型的能力和局限性，尽管自动化文献调研在声学领域具有巨大潜力，但仍需要改进以更清晰准确地回答技术问题。

    Oct, 2023

  • 利用大型语言模型提取数学概念

    我们使用 ChatGPT 等生成性大型语言模型从数学文本中提取数学概念，为自动术语提取和数学文本处理领域以及 LLM 研究作出贡献。我们的研究目标是在数学领域中通过自动提取术语（关键词）来建立模型，使用的语料库是在线期刊《Theory and Applications of Categories》的 755 个摘要，快照来自 2020 年左右。我们的研究与之前的工作不同之处在于：（1）更彻底分析了数学术语提取的困难之处；（2）关注了人工标注者之间的不一致性；（3）提供了一套人机标注者都可以使用的指南，以规范化提取过程；（4）引入了一种新的注释工具，帮助人类进行自动术语提取，适用于任何数学领域甚至数学之外的领域；（5）使用 ChatGPT 的提示作为提取过程的一部分，并提出了最佳实践；（6）提出了 ChatGPT 是否能够作为与人类专家在同一级别上的注释者的问题。我们的总体发现是，数学术语提取是一个有趣的领域，LLM 的参与可能对该领域有所裨益，但目前 LLM 本身无法超过人类的表现水平。

    Aug, 2023

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • UPB 在 IberLEF-2023 AuTexTification 中的使用：使用 Transformer 集成检测机器生成的文本

    该研究论文描述了 UPB 团队在 IberLEF-2023 的 AuTexTification 共享任务中提交的解决方案，主要使用基于 Transformer 的深度学习模型以及多任务学习等训练技术，最佳模型在英语和西班牙语数据集上分别达到了 66.63% 和 67.10% 的宏 F1 分数。

    Aug, 2023

  • 使用大型语言模型生成数学推导

    利用大型语言模型 (LLMs) 进行特定领域的数学推导是一项新兴的研究方向，可以帮助发现模型的局限性，潜在地支持数学发现。本文利用符号引擎在大规模上生成方程的推导，并研究 LLMs 在从前提中推导目标方程时的能力。实证结果表明，fine-tuned FLAN-T5-large (MathT5) 在绝对性能方面超过了 GPT 模型在所有静态和分布外的测试集上。然而，深入分析发现，fine-tuned 模型对于涉及未知符号的扰动 (以及较小程度的方程结构更改) 更为敏感。此外，我们分析了 1.7K 个方程和 200 多个推导，突出了常见的推理错误，如包含不正确、无关或多余的方程，以及跳过推导步骤的倾向。最后，我们探讨了评估数学推导的现有指标的适用性，发现尽管它们能捕捉到对扰动的敏感性等一般属性，但无法凸显细粒度的推理错误和模型之间的重要差异。总体来说，本研究表明在合成数据上训练模型可以提高其数学能力，超越更大的架构。

    Jul, 2023