- 使用选择性屏蔽作为预训练和微调之间的桥梁
该研究提出了一种使用任务特定掩码的方法，通过修改预训练的 BERT 模型来适应下游任务。研究结果表明，这种选择性掩码策略优于随机掩码，具有较好的效果。
- 在词嵌入中表示情感信息
本文研究了使用大规模语言模型所获得的单词嵌入中是否编码了某些情感信息。研究发现，只有在情感相关任务上微调 BERT 模型，或在情感丰富的上下文中包含额外的上下文信息时，相应的词嵌入才能编码更相关的情感信息。
- 一种语法感知的 BERT 用于在课程框架中识别格式良好的查询
本文使用基于 Transformer 的语言模型 BERT 和词性信息，结合 Baby Steps 和 One Pass 技术进行多层面的 Curriculum Learning，用于识别合乎要求的查询，并取得了近乎人类上限的 83.93% - BSpell：基于 CNN 和 BERT 的孟加拉语拼写检查器
本文提出了一种专用于孟加拉语单词拼写检查的 BERT 模型 BSpell，并采用了专用 CNN 子模型 SemanticNet 和混合预训练方案，使其在存在拼写错误的情况下实现了高度变形的孟加拉语词汇的 91.5％的精度，在两个孟加拉语和一 - 利用自然语言处理和机器学习算法搜索铬酸盐替代品
本研究利用自然语言处理技术（NLP）结合机器学习算法，应用 Word2Vec 模型与 BERT 模型，对超过 80 万篇腐蚀保护领域文献进行关键信息提取，成功展示了自动化解读科学文献并达到人类专家级别洞察的可能性，为材料领域中寻找铬替代品提 - SDBERT: SparseDistilBERT，一个更快、更小的 BERT 模型
本文介绍了一种新的 Transformer 架构 - SparseDistilBERT，使用了稀疏注意力机制和知识蒸馏技术 (KD)。将稀疏注意力机制与 KD 技术相结合可以降低模型的复杂度，本文实现的 SparseDistilBERT 在 - 注意力图的 Betti 数是你真正需要的一切
应用拓扑学分析方法于 BERT 模型的 attention 图中，基于该训练神经网络的拓扑特征构建分类器，并在三个文本分类基准测试中证明了这种文本表示方法的相关性。
- BERT 能否预测对比焦点？使用语言模型在神经 TTS 中预测和控制突出显示
研究了利用 Transformer 语言模型表示推断文本到语音合成（TTS）中的韵律特征，着重于个人代词的对比焦点预测，采集了一些包含对比焦点的语言数据样本，并使用微调的 BERT 模型预测量化的声学显著性特征，并研究过去的语言数据如何对该 - 语言和图神经网络模型的高效有效训练
本文提出了一种有效的框架，称为语言模型图神经网络 (LM-GNN)，通过分阶段的 BERT 模型微调来结合异构图结构与文本，以便在多项监督学习任务中实现节点和边分类以及链接预测，并在不同的数据集上评估了这个框架且在一个亚马逊搜索 - 购买 - 比较式片段生成
本研究通过模拟产品评论，使用预训练的 BERT 模型生成正负面评价中的单句比较响应，并贡献了首个用于对比意见生成的数据集。
- 针对亚裔仇恨言论的语音识别任务：以 BERT 为核心，数据为中心进行关键研究
为了有效地检测和预防针对亚洲人的仇恨言论，我们创建了 COVID-HATE-2022 数据集，并使用 BERT 模型和数据细化等策略进行了微调，实验表明数据细化的策略在相关任务中表现最佳，能够有效提高模型性能。
- ACL评估专业评价中的群体性别偏见：以医学生轮班结束反馈为例
研究通过 BERT 模型和 LIWC 方法对医学生的表现评估数据进行对比，结果显示医学院教授在日常评估中，男性和女性医学生的评价差异不大，但女性更容易受到与家庭和孩子相关的评价。
- 基于图增强的 BERT 模型用于事件预测
本研究提出使用 BERT 模型自动构建事件图来预测事件之间的关联，从而提高事件预测的准确性，实验结果表明本方法能够超过现有的基准方法。
- ICLR发现 BERT 学习的潜在概念
此文探讨深度神经网络模型中学习的潜在观念，以及与传统的语言学层次的对比分析，并发现存在偏见的潜在观念并提供数据集（BCN）支持这些结论。
- 基于查询的长文档关键词提取
文章讨论了在自然语言处理中，基于 Transformer 的架构会有输入大小的限制问题，但该论文通过将长文档分块并保持全局上下文，以查询定义话题，从而克服了这个问题，开发的系统使用预训练的 BERT 模型并调整它来估计给定文本跨度形成关键短 - 基于 Transformer 的知识归属模式挖掘
本文研究了 Knowledge Neurons 框架的知识神经元以及它们在 Transformer 网络中对于事实和关系知识的归因。研究发现，大多数的事实知识可以归属于网络的中高层。而中间层次则更多负责关系信息，最后数层则进一步提炼成实际的 - 当 BERT 遇见量子时间卷积学习：异构计算中的文本分类
本文提出了基于变分量子电路的纵向联邦学习架构，应用该结构建立量子增强的预训练 BERT 模型，并在文本分类任务上通过引入新型的随机量子时态卷积学习框架，实现了和现有量子语言模型相比 1.57% 和 1.52% 的提升，同时也可以在商业可获得 - 毒性评论猎手：评分有毒评论的严重程度
本研究利用不同角度的数据清洗和特征提取操作，得到不同的有毒评论训练集，并基于 TFIDF 和微调的 Bert 模型进行模型构建，最终将代码封装成软件以实现有毒评论的实时评分。
- UserBERT: 通过自我监督建模用户的长期和短期偏好
本研究提出了一种适用于电子商务用户数据的 BERT 模型的自监督预训练表示学习方法，将用户行为数据看作是句子中的单词，并采用统一结构同时学习长期、短期和用户属性。实验证明，该方法在三个不同的实际任务中都能带来显著的改进，尤其是与任务特定建模 - 通过精细调整 KB-BERT 对瑞典文中的标点恢复
使用一种基于 KB-BERT 模型的方法，对无标点的瑞典语文本进行自动纠正成正确的标点文本进行了研究，提出的预训练模型 prestoBERT 在标点纠正上取得了较好的成绩。