该研究旨在开发一种控制机制，使用户可以选择上下文的一部分作为 “亮点”，以便生成相关的输出。研究使用可训练的 “焦点向量” 来指示上下文的重要性，测试其在对话响应生成和提取式摘要生成任务中的有效性。

Mar, 2022

本研究通过对 18 种语言进行多语言 BERT 的解码实验，以测试依存句法是否反映在注意力模式中的普适性，并归纳出单一注意力头可以以上线准确率解码全树。尝试通过对 mBERT 进行监督解析目标的微调，结果表明注意力模式可以代表语言结构。

Jan, 2021

本研究采用了一系列实验，探究了 BERT 模型在不同层次上的语言表征，结果显示它主要依赖句法和语义信息来捕捉音调重音的相关信息。

Apr, 2023

本文介绍基于语言使用进行人格预测的交叉性研究，报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进，实验结果表明，这些模型优于同一数据集上的现有工作，并通过对心理语言学特征的不同类别进行消融实验来量化其影响。

Apr, 2022

本研究提出了预训练的基于音素级别的 BERT 编码器，通过预测对应的字母表顺序来提高生成语音的自然度，并在主观评估中证明其在未知范围的文本中相比基于状态的 TTS 模型有显著提高的平均意见评分。

Jan, 2023

本文通过分析 BERT 的注意力机制及其输出结果，提出了新的方法并应用于其内部结构的探究，证明 Bert 的 attention heads 明显与语言的语法和指代有关，其中某些 attention heads 可以高精度地表示动词的直接宾语、名词的限定词和介词的宾语。

Jun, 2019

本文提出一种基于句法结构的局部语义注意力机制，将其与 BERT 等预训练语言模型相结合，提高对句子中句法相关词的关注度，在单句分类和序列标注等任务中实现了一致性增益。

Dec, 2020

Transformer-based 神经语言模型在自然语言处理任务中取得了最先进的性能，但一个开放问题是这些模型在处理自然语言时在词序 / 句法、词共现 / 主题相关信息中所依赖的程度。本文通过研究基于 Transformer 模型（BERT 和 RoBERTa）在英文一系列探测任务中的表现，从简单词汇任务如句子长度预测到复杂语义任务如成语标记识别，探讨了这个问题，以此加入对这一争论的贡献，并提出了一种新的探测方法 —— 主题感知探测。初步结果显示，Transformer 模型在其中间层既编码了主题信息又编码了非主题信息，但理解习惯用法的能力主要基于它们的识别和编码主题能力。此外，对这些模型在其他标准探测任务上的表现的分析表明，对主题信息相对不敏感的任务也是对这些模型相对困难的任务。

Mar, 2024

本研究调查了预测头的内部工作，特别关注偏差参数，并发现 BERT 和 GPT-2 模型中的预测头偏差对模型反映语料库中的词频有重要作用，可通过对偏差的控制在实践自回归文本生成场景下生成更多样化的文本。

May, 2023

本论文研究了通过引入 BERT 模型辅助训练 TTS 模型 Tacotron-2，以缓解高质量语音库的不足问题，并在模型训练中观察到模型收敛更快、结果中无杂音等优点。

Jun, 2019