本研究的目的是为了提高应用自然语言处理在数学教育中的效果，我们提出了 MathBERT，一种专门针对数学文本域的预训练模型。MathBERT 在基于数学语料库上的三个自然语言处理任务中表现出优异的性能，我们还采用了一种数学特定的词汇表来进一步提高模型的性能。我们公开了 MathBERT 的模型参数以供公众使用。

Jun, 2021

本文研究 BERT 语言模型是否具备数学能力，从而能够解决单词数学问题，提出了一种预训练任务 Neighbor Reasoning Order Prediction (ROPS)，针对数学过程提供了半正式的解释步骤，通过新的模型和预训练任务，实现了比数据驱动基线和结构更加优化的模型更好的结果，并且还展示了如何减少这种模型中的位置偏差。

Jun, 2021

本研究使用三种预训练的 BERT 模型对数学英语 (使用 LaTeX 编写) 的 “定义提取” 任务进行微调，将其作为一个二元分类问题。通过对原始数据集 “芝加哥” 和 “TAC” 的微调和测试，以及与 Vanetik 和 Litvak 在 2021 年提出的 WFMALL 数据集的对比测试，我们发现高性能的 Sentence-BERT transformer 模型在整体准确度、召回率和精确度等指标上表现最佳，且相较于早期模型，所需的计算资源更少。

Jun, 2024

该论文提出了一种在语言模型中加入（半）结构化表格信息的方法，并在语义解析任务上取得了新的最佳结果。

May, 2020

本文介绍一种名为 StructBERT 的新型预训练语言模型，该模型通过引入语言结构的两个辅助任务进行预训练，包括单词和句子级别的结构，以适应不同水平的下游任务，其在各种下游任务上表现良好，包括 GLUE 基准测试的 89.0，SQuAD v1.1 问答的 F1 分数为 93.0，SNLI 的准确度为 91.7。

Aug, 2019

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018

本研究提出了一种基于预训练模型的文本简化方法，通过新的掩码语言建模机制和小规模文本数据集的持续预训练，最终获得了一种名为 SimpleBERT 的模型，该模型在词汇简化和句子简化任务中均超过了 BERT，并在多个数据集上取得了最先进的结果。此外，SimpleBERT 可以无需修改地替换现有的简化模型。

Apr, 2022

本研究旨在提高机器的数学智能，通过设计一种中文数学预训练语言模型，发展出一种新型的课程预训练方法来提高模型学习数学 PLM，并在离线 / 在线实验中获得了有效性的证明。

Jun, 2022

SciBERT 是一种无监督预训练的基于 BERT 的语言模型，用于解决获取高质量、大规模标注科学数据的难题，并在多个科学领域的数据集上展示出比传统 BERT 模型更卓越的性能。

Mar, 2019

本文提出了一种名为 Syntax-BERT 的新型框架，它可以有效地并高效地将句法树结构融入到基于 Transformer 的任何预训练模型中，并在多个先前的预训练模型上取得了稳定的性能提升，进一步证明了句法信息在 NLP 任务中的重要性。

Mar, 2021