通过探究不同的调查方式，研究表明，预训练的语言模型 BERT 的参数中隐式储存了大量书籍、电影和音乐等相关领域的内容知识，但更多的是基于内容的知识而不是协作式的知识，同时在应对有挑战性的数据时效果不佳。

Jul, 2020

本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

Apr, 2021

本文介绍了一种基于 BERT 的模型 MetricBERT，该模型通过学习嵌入文本并同时遵循传统的掩码语言任务，以在定义明确的相似度度量下进行。我们主要关注于推荐中的学习相似性的下游任务，表明 MetricBERT 在超越其他最先进的替代方法并取得显著优势方面出色地表现。此外，我们还发布了一个由领域专家制作的视频游戏描述数据集以及测试集的相似性注释。

Aug, 2022

本文介绍了如何将自然语言处理 (NLP) 中最新的预训练语言模型 BERT 应用于生物医学文献的文本挖掘，并提出了一种自然语言处理 (BioBERT) 模型用于生物医学文本挖掘，该模型在以前的生物医学文本挖掘任务中表现得比 BERT 好并且公开了该模型的预训练权重以及源代码。

Jan, 2019

本文介绍了 ColBERT-X，这是一个使用 XLM-RoBERTa 编码器的多重表示稠密检索模型，用于支持跨语言信息检索（CLIR）。在几种语言的自适应文件排名任务上表现出了在传统词汇 CLIR 基线之上的显着和统计上的显着改进。

Jan, 2022

使用 BERT 模型在多语言语料中训练跨语言信息检索模型，实验结果显示该模型在英语查询与立陶宛语文档的信息检索任务中优于其他竞争模型

Apr, 2020

该论文提出了通过使用新的对比度损失和混合 LSTM-transformer 架构组合来改进 Reinforcement Learning (强化学习) 代理的数据效率，从而实现在广泛领域内对像素的高效、稳健学习的 Contrastive BERT for RL (CoBERL)。该方法通过双向掩码预测与最近对比方法的泛化相结合，学习 RL 中更好的 Transformer 表示，同时在 Atari 套装、控制任务和具有挑战性的 3D 环境中保持性能的一致改进。

Jul, 2021

最近，大型语言模型 (LLMs) 在语言理解和生成方面取得了显著的进展，通过利用文本特征，定制 LLMs 也被应用于推荐，并在各种推荐场景中展示出改进。为了验证所提出框架的有效性，在基准数据集上与最先进的基线方法进行比较，我们的实验结果证明了 LlamaRec 的性能，在推荐性能和效率方面都取得了卓越的表现。

Oct, 2023

我们的研究聚焦在解决 NLP 中的零样本文本分类问题，特别强调创新的自训练策略。为了实现这一目标，我们提出了一种使用标签而不是文本进行训练的新颖自训练策略，显著降低了模型的训练时间。此外，我们采用 SBERT 预训练模型来建立同一文本中类别对之间的正相关性，以促进联想训练。我们的实验结果表明，这种方法能够在几分钟内使模型适应目标数据集，相比其他基于 BERT 的变压器模型，我们的方法通过仅在标签上进行训练而不是实际文本训练，大幅减少了训练数据量，同时通过利用统一的训练集极大提高了训练效率。此外，我们的方法在 Yahoo Topic 和 AG News 数据集上取得了最先进的结果。

Jul, 2023

介绍了一种新的语言表示模型 BERT，可以通过预训练深度双向表示生成模型从未标记的文本中学习，通过微调可用于广泛的任务，包括自然语言处理。

Oct, 2018