本研究针对 6 种不同语言和 5 种不同词汇任务，对单语和多语言源 LM、无上下文编码和有上下文编码、特殊标记的包含和分层平均等不同词汇知识提取策略的影响进行了系统的实证分析，并验证了较低变压器层携带更多类型级词汇知识的主张。

Oct, 2020

通过句子级探测、诊断案例和掩蔽预测任务的评估，我们针对相对子句测试了三种模型（BERT，RoBERTa 和 ALBERT）的语法和语义知识，在自然数据集上，探测表明三种模型确实捕获了关于语法正确性的语言知识，但对包括语义知识在内的细粒度语言知识的诊断案例和掩蔽预测任务的评估显示明显的模型特定弱点，强烈影响模型性能。因此，我们的结果突出了通过模型比较进行评估任务和建立模型性能声明及其捕获的语言知识的重要性，超越纯粹的探测评估。

Nov, 2020

本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

Oct, 2021

提出一种基于语义和上下文限制的表示增强方法，来改善问题回答模型的强壮性和泛化能力，通过对语义进行扰动和训练增强上下文表示来更好地区分正确答案的上下文线索，实验证明我们的方法在四个对抗性测试集上获得了显著的鲁棒性改善。

Feb, 2022

该论文使用 Integrated Gradients 解释 BERT 在阅读理解中的层次化功能，发现早期层次着重于查询 - 段落交互，而后期层次集中在上下文理解和应答预测，特别适用于量词问题，即使是在存在混淆的情况下，BERT 仍然能够正确预测答案。

Oct, 2020

该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

Jan, 2022

使用 RoBERTa + AT + KD 模型，本文在 CoQA 数据集上进行对话问答，单模型达到 90.4 的 F1 得分，比现有最先进的单模型高 2.6%。

Sep, 2019

本研究提出一种学习组合码嵌入以极大地减小 BERT 等模型尺寸的技术，并将其应用于语义解析，以及评估码嵌入尺寸与下游表现之间的权衡，实现语义解析的高性能同时符合语音助手等设备的存储要求。

Oct, 2020

研究发现，预训练的转换语言模型在很多 NLP 任务上表现出色；然而，这些模型在短语级别的表示中，除了词汇内容外，缺乏复杂的组合短语信息，进一步的 fine-tuning 只能在情感任务中局部提高性能，而在重新释义任务中则由于数据集中可能存在干扰信号的原因而不能提供改进。

May, 2021

我们开发了一个整合了 BERT 和其他语言特征的端到端问题回答模型，结果表明这种模型能够改善 BERT 基础模型，EM 得分和 F1 得分分别提高了 2.17 和 2.14。我们的最佳单一模型在隐藏测试集上达到了 EM 得分 76.55 和 F1 得分 79.97。我们的错误分析还表明，语言结构可以帮助模型更好地理解上下文，从而纠正 BERT 模型将答案错误预测为 “无答案” 的情况。

Apr, 2024