- 使用图感知变压器进行多语言词汇搭配的提取和分类
本文将序列标记 BERT 模型与图形感知变压器架构相结合，用于识别语境中的词汇搭配。实验结果表明，显式地编码句法依存结构对模型性能有帮助，并提供英语、西班牙语和法语词汇搭配类型区别的见解。
- SIGIR基于 BERT 模型的会话感知序列推荐中的会话信息利用
本研究提出三种利用用户交互记录中的会话信息来改进推荐系统性能的方法，并应用于基于 BERT 的顺序推荐模型，既可以在保证模型整体简洁性的同时，提升推荐结果。
- 裁剪图神经网络用于短篇小说排序
该论文提出了一种基于图神经网络的新方法，通过构建短篇小说的句子 - 实体图并利用 BERT 模型来学习句子的语义表征，减少图中的噪声，结合多种现有方法进行聚合以提高句子排序的性能，效果显著，使完美匹配率和 Kendall's Tau 指标分 - 多轮口语对话中基于知识增强的 BERT 互联网络
本文研究了基于 BERT 的联合模型，利用知识关注机制和筛选相关知识三元组的门控机制相互利用两个 SLU 任务的对话上下文和动态信息进行建模，实验结果表明相对于其他竞争基线，该方法在两个复杂的多轮对话数据集上取得了相当大的改进。
- ACLFAMIE: 一个面向多语言信息抽取的快速主动学习框架
该论文介绍了 FAMIE，这是一个专为多语言信息提取而设计的全面且高效的主动学习工具包。FAMIE 基于使用小型代理网络进行快速数据选择的思想，引入了一种新的知识蒸馏机制，将代理网络与主大型模型（即基于 BERT 的模型）同步，以确保所选注 - ACL基于二阶段跨度标注的中文分词与词性标注
提出了一种名为 SpanSegTag 的神经模型，采用跨度标记跟踪每个中文单词和其分词标记的概率，利用相邻字符的左右边界表示的双交注意力机制学习字符的 n-gram 特征，在中文分词和词性标注方面显著优于以 BERT 或 ZEN 编码器为基 - ACL增强正式化风格转换的上下文感知规则注入
该研究提出了一种基于 BERT 编码器和解码器的上下文感知规则注入方法，用于形式转移问题。在内在和外在实验中，该方法都取得了良好的效果，尤其在用户生成的语言上表现最佳。
- ACL在语言相似度高的情况下适应单语模型：数据匮乏的问题
本篇论文重点研究了如何使用尽可能少的数据实现零 - shot 迁移学习，并探讨了语言相似度在该过程中的影响。研究人员利用两种低语言资源语言重新训练了四个基于 BERT 的模型的词汇层，同时对模型的源语言进行了独立的 POS 标记任务的微调。 - 使用双编码器快速有效的生物医学实体链接
本研究提出了一种基于 BERT 的双编码器模型，可一次处理文档中的多个关键词，解决了现有模型效率低的问题，在生物医学实体链接领域取得了与现有模型相当的准确性，并对其进行了改进，实现了端到端生物医学实体链接，表现出更好的性能.
- ACL使用盒形嵌入模型精细建模实体类型
本文研究使用盒子嵌入（box embeddings）模型来更好地捕捉细粒度实体类型之间的复杂相互依存关系，并与矢量嵌入模型进行比较，在几个实体类型基准测试中表现出最先进的性能和更好的预测一致性和置信度。
- ACL使用基于 BERT 的预训练模型进行中文语法纠错
本研究基于 Cui 等人（2020）开发的 BERT 模型，分别采用两种方法将其纳入编码器 - 解码器模型进行汉语语法错误纠正任务，发现句子级错误尚未得到解决。
- KDD基于 BERT 的快速而健壮的基于模式引导的对话数据集跟踪器
本文介绍了一种基于 BERT 的快速和强健的模型 FastSGT 用于在目标导向对话系统中跟踪对话状态，在实验中，FastSGT 在保持计算和内存消耗效率的同时，显着提高了准确性，并通过数据增强显示了提高准确性的有效性。
- ACLGoEmotions：一份包含细致情绪的数据集
介绍了 GoEmotions，这是目前最大的手动标注的数据集之一，其中包含 58k 英文 Reddit 评论，并将其标记为 27 种情感类别或中性。通过传递学习实验，证明了该数据集具有良好的泛化性能，BERT-based 情感检测模型取得了 - EMNLP基于稠密实体检索的可扩展零样本实体链接
本文介绍一种基于 BERT 的实体链接模型，采用两阶段的零样本链接算法，通过双编码器进行实体检索，并进一步用交叉编码器对候选实体进行重排序。经实验证明，这种方法不需要显式实体嵌入或手动工程化的实体表，已超越最近的零样本评估和已建立的非零样本 - 内容增强的基于 BERT 的文本到 SQL 生成
本文提出了一种简单的方法，利用表格内容为基于 BERT 的模型解决文本到 SQL 的问题。通过观察表格内容与问题中的一些单词匹配以及表格标题也与问题中的一些单词匹配，我们为深度模型编码了两个额外的特征向量。我们在 WikiSQL 数据集上进 - 多域对话状态跟踪中的槽值预测：寻找还是分类？
提出了一种新的双策略对话状态跟踪（Dialog state tracking）方法，该方法采用单个类似 BERT 的阅读理解模型来同时处理分类和非分类插槽，实验证明该方法在两种不同的情境下表现出色，并在干扰性较高的数据集上创造了新的最优性能 - AAAI通过语义片段探究自然语言推理模型
通过使用语义片段，作者发现目前自然语言理解领域最先进的模型在布尔协调、量化、条件、比较和单调性推理等方面表现不佳，在这些问题上进行微调，BERT-based 模型可以掌握所有逻辑和单调性片段，同时保持其在已有 NLI 基准测试的性能。
- 用阅读理解为 BERT 配备计算器：寻找操作和参数
介绍了基于 BERT 的阅读理解模型，可以通过简单的程序执行轻量级的数值推理，并在具有挑战性的 Discrete Reasoning Over Passages 数据集上，通过添加浅层程序，实现了 33％的绝对改进。模型可以在数学词问题环境 - 多级多类别科学多选考试问题分类
研究使用细粒度分层分类法的最大挑战数据集，与基于 BERT 模型的算法相比，可以大大提高问题分类的准确度以及进一步改善问题回答系统的性能。
- 使用弱监督进行段落排名
本文提出使用弱监督框架在神经排序任务中进行 BERT 模型的训练，通过多个弱监督信号来提高模型性能，并在两个基准数据集上实现了新的最佳性能