本文提出了一种二进制集合 BERT（BEBERT）模型，采用集成技术来弥补其与全精度 BERT 相比的精度差距，同时保持计算效率，实验证明，BEBERT 在精度和鲁棒性方面明显优于现有的二进制 BERT 模型，训练时间更快，模型尺寸和 FLOPs 分别比全精度基准低 13 倍和 15 倍，同时也优于其他压缩 BERT 的精度高达 6.7%。

Oct, 2022

使用多个 CLS 标记对科学文档进行多领域特化，提出 Multi2SPE 方法，并在多领域下的科学论文向量编码中展示 Multi2SPE 在减少错误率上的效果。

Sep, 2023

通过引入基于堆叠集成的多文本分类方法来解决单一分类器的欠拟合和偏差限制，结合 BERT、ELECTRA、DistilBERT、RoBERTa 等多个转换器模型，在真实客户评论数据集上进行实验评估，验证了该方法在提高准确性和鲁棒性方面的有效性和优越性，证明了使用转换器的堆叠集成的多文本分类方法是从客户评论中提取有价值的见解并作出数据驱动决策以提升客户满意度和推动持续改进的有前途的解决方案。

Aug, 2023

本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

Jan, 2022

通过引入 MultiBERTs 和 Multi-Bootstrap 方法，研究者能够更准确地推出关于预训练模型的结论，这在性别偏见等问题的案例研究中显得尤为重要。

Jun, 2021

本文提出一种基于 BERT 的多任务框架，采用部分微调，单任务模型知识蒸馏和模型压缩技术，使得各个子任务的共享部分得以共用，从而实现了低成本、高性能的实时任务处理。该框架在小米智能语音助手中得到了应用，整个系统处理成本降低了 86%。

Jul, 2021

提出了一种新的方法，通过集成学习和 BERT、RoBERTa 和 XLNet 的监督微调，无需进行大量预训练即可高精度预测分子属性，解决了实验组面临的计算资源有限的问题，提供了一种具有成本效益和资源高效的解决方案，可能推进分子领域的进一步研究。

May, 2024

本文介绍了一种新颖的集成方法，使用先进模型 Electra、GloVe 和 LSTM 进行问题分类。该提出的模型在 TREC 数据集上进行训练和评估，这是一个问题分类任务的公认基准。集成模型综合了 Electra（一种基于 transformer 的语言理解模型）、GloVe（一种全局词向量表示方法）和 LSTM（一种循环神经网络变种），为问题分类提供了稳健高效的解决方案。大量实验比较了所提出的集成方法与其他尖端模型（如 BERT、RoBERTa 和 DistilBERT）的性能，结果表明在所有评估指标上，集成模型的表现优于这些模型，在测试集上达到了 0.8 的准确度。这些发现凸显了集成方法在增强问题分类任务性能方面的有效性，促使进一步探索在自然语言处理中的集成方法。

Aug, 2023

本文利用 BERT 作为特征提取层并引入语义增强的预训练任务，并使用大规模数据集进行实体识别预训练，提出软标签嵌入以有效传递实体识别和关系提取之间的信息，从而增强多头选择模型的信息提取能力，最终在测试集上获得了 0.892 的 F1 分数。

Aug, 2019

使用了 Conf-Ensemble 技术来提高机器学习模型的性能，通过对 ImageNet 数据集的图像分类实验，发现 Conf-Ensemble 在复杂的多标签分类任务中并未能如预期一样实现优化结果，也说明了大数据难以被利用的非平凡性。

Mar, 2023