本文介绍了一个系统，它包括四个独立子系统，能够将科学文献的摘要分类到给定的七个类别中，通过对这四个子系统的集成，可以得到一个在测试和验证集上 F1 分数为 0.93 的最终系统，优于现有的最先进模型 SciBERT 的 F1 分数。

Feb, 2021

提出了新的方法，包括负载均衡、通信成本隐藏、优化器重新评估，并结合超参数优化和更大的批次使用 ADAM 等技术，实现了最快的 MLPerf BERT 训练，比其他两个（一个）MLPerf v1.1（v2.0）提交的结果更快。

Feb, 2024

本文介绍了我们团队关于使用 Transformer 结合多种训练策略进行自监督预训练和微调，并在 GLUE 评测中取得了 4 项任务上的最优性能，其中 SST-2 和 WNLI 两项任务满足超越人类表现的要求。

Feb, 2023

本文介绍了我们的系统，以应对针对于 SemEval-2022 任务 8：多语言新闻文章相似性。我们提出了一种受语言学启发的模型，采用了几个任务特定的策略进行训练。我们的系统的主要技术包括：1）数据增强，2）多标签损失，3）适应 R-Drop，4）头尾组合中的样本重构。我们还对一些负面方法进行了简要分析，例如两塔架构。我们的系统在排行榜上排名第 1，并在官方评估集上实现了 0.818 的皮尔逊相关系数。

Apr, 2022

本文提出了一种基于 salience 方法的计算成本降低技术，具体来说，是通过动态消除 BERT 模型中的无用 tokens 以降低计算成本，在几个不同的分类任务中验证其性能，实现了高达 22 倍的加速。

Mar, 2022

本文介绍了 VGT 模型，它是一种双流视觉格点变换器，通过提出并预训练 GiT 来实现 2D 令牌级和段级语义理解，利用多模态信息和预训练技术为文档布局分析学习更好的表示。此外，还通过 D$^4$LA 数据集，在文档布局分析中达到了最新的最佳性能。

Aug, 2023

通过使用 PHUDGE 调优的 Phi3 模型，在反馈测试、反馈 OOD、MT Human 和 Preference Test 等四项任务中取得了最先进的结果，大大超越了现有模型在延迟和吞吐量方面。研究还表明，与 GPT4 和人类注释者相比，这个模型在未见过的数据和绝对相对定级任务中都表现出非常强的相关性。

May, 2024

本文介绍了 HeadLine Grouping 的任务和相应数据集，并提出了一个新颖的模型用于该任务。研究结果表明，虽然当前的最先进的 Transformer 模型只能达到 0.75 F-1，但是我们提出的无监督 Headline Generator Swap 模型可接近最佳监督模型的 F-1 分数，并发现了现有体系结构建模的局限性。

May, 2021

本文旨在改进 GEC 序列标记体系结构，特别是在大型配置中采用最新的基于 Transformer 的编码器进行集成。通过跨度级别编辑的多数投票方法来鼓励集成模型，我们的最佳集合在 BEA-2019（测试）上获得了 76.05 的 $F_{0.5}$ 分数，即使没有在合成数据集上进行预训练也是如此。此外，我们采用知识蒸馏技术，通过训练集合来生成新的合成数据集，并在公开的合成 PIE 数据集上完成预训练，最终获得 73.21 的 $F_{0.5}$ 分数，其代码、数据集和训练好的模型都可供公开获取。

Mar, 2022

本文提出了一种基于 BERT 模型的阅读难度评估方法，利用困难程度知识指导半监督学习从而补充传统语言学特征，提出投影过滤和长度平衡损失来补充 BERT 表示，并在两个英文基准数据集和一组中文教科书数据集上取得了最先进的性能，远超人类专家。

Oct, 2022