使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。

Mar, 2024

本研究旨在提高科学教育中学生答案自动评分的性能。使用科学教育数据预训练特定领域的语言模型可以提高性能，并在将来自动化科学教育任务方面具有潜在的普适性。

Jan, 2023

本文提出了一种基于 BERT 模型的句子级多任务学习模型，可用于事实验证任务，并通过联合训练模型的理由选择和态度预测来实现反击社交媒体或新闻网站上不断传播的错误信息的目的。

Dec, 2020

本文提出了 MatSci-NLP 标准，旨在评估自然语言处理模型在材料科学文本上的性能，其中包括命名实体识别和关系分类等传统 NLP 任务以及涉及创建材料合成程序的特定于材料科学的 NLP 任务。作者的实验结果表明，预先训练的模型对科学文本的理解优于对一般文本的 BERT 模型训练，并提出了一种基于问题回答方法的 NLP 多任务学习方法，其性能优于传统的微调方法。

May, 2023

通过使用注意力机制的双向长短期记忆 (BiLSTM) 网络和环境信息，我们可以检测需要引用的句子，我们还构建了一个比以前数据集大数个数量级的新数据集 (PMOA-CITE)，证明我们的架构在标准 ACL-ARC 数据集上达到了最先进的性能 ($F_1=0.507$)，在新的 PMOA-CITE 数据集上表现出很高的性能 ($F_1=0.856$)，并且可以在这些数据集之间进行迁移学习。我们还使用可解释的模型揭示了促进和抑制引用的特定语言的运用，发现了我们改进预测的关键是章节和周围句子。我们进一步检查了模型的错误预测，并发现了人类引用行为和来源数据中的系统性错误，这为我们的模型在提交前和存档过程中检查文档打开了门。我们将这个新数据集、代码和基于网络的工具提供给社区。

May, 2024

本论文介绍了一个新的科学语句分类任务，并发布了一个大规模数据集用于监督学习。通过对 arXiv.org 的机器可读表现形式进行数据派生，我们探索了 50 个作者注释的类别，并通过将 1050 万个注释段分组为 13 类进行了任务设计，以证明任务设置与已知最新技术的成功率相一致。通过 BiLSTM 编码解码模型，演示了其 0.91F1 得分的高峰。此外，我们介绍了一种数学公式的词汇串行化，并观察到当上下文感知模型还在符号模态上训练时，可以进一步提高模型的性能。最后，本文讨论了数据和任务设计的限制，并概述了走向科学话语越来越复杂模型的潜在方向，超越了孤立的语句

Aug, 2019

使用自然语言处理技术的对比学习方法，通过多重语义解读对大型语言模型的生成文本进行分析，达到了 94% 的准确率，在学术界检测人工智能生成的文本的抄袭和欺诈具有强大的适应性和可靠性。

Jun, 2023

本研究使用三种预训练的 BERT 模型对数学英语 (使用 LaTeX 编写) 的 “定义提取” 任务进行微调，将其作为一个二元分类问题。通过对原始数据集 “芝加哥” 和 “TAC” 的微调和测试，以及与 Vanetik 和 Litvak 在 2021 年提出的 WFMALL 数据集的对比测试，我们发现高性能的 Sentence-BERT transformer 模型在整体准确度、召回率和精确度等指标上表现最佳，且相较于早期模型，所需的计算资源更少。

Jun, 2024

本文提供了一个完整的计算框架，对科学写作中的文本修订进行了研究，通过构建一个新的带有金标准句子对齐的带注释语料库来揭示了科研人员修订论文的常见策略，并利用自动方法在文档、句子和单词级别上提取修订内容。

Oct, 2022

本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了高性能，超越了最好的多语言句子编码器。

Jul, 2022