本研究提出了 VLC-BERT 模型，该模型针对需要常识推理的视觉问答任务，通过使用预训练的 Commonsense Transformer（COMET）模型产生、选择和编码外部常识知识，结合视觉和文本线索，超越了使用静态知识库的现有模型.

Oct, 2022

本文提出了一种自我监督方法来解决代词消岐和 Winograd Schema 挑战问题，利用 transformer networks，采用特征训练语料库的结构，并构建配对对比辅助预测，通过对比边缘的互斥损失进行规范化，实现常识推理，在常识推理任务中表现良好，并且开辟了利用廉价的自我监督以便在常识推理中获得性能提升的途径。

May, 2020

本研究通过自监督学习方式，包括不连贯性识别，插入检测以及问题预测，明确捕捉口语对话文档之间的指代消解和对话连贯性，提高了口语对话的意义和连贯性。在 Spoken-CoQA 数据集上取得了最先进的结果。

Jun, 2021

本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

Nov, 2019

本文介绍一种使用预处理的深度语境化文本编码器 BERT 来改善自然语言任务，包括抽象概括，并提出一种自我监督的方法来弥补对话概括模型的缺陷。在共享的编码器 - 解码器架构上构建和微调抽象对话概括模型，并在最近引入的 SAMSum 语料库中经验性地评估，证明我们的方法在抽象概括中做出了改进。

Sep, 2022

本文提出了一种新颖的基于语义的问题回答方法 (SEQA)，该方法使用生成模型先产生一组可能的答案，然后基于这些可能的答案和问题在语义上的相似性来选择正确的答案。该方法在无监督的情况下，通过对四个基准数据集的实验验证了其有效性和健壮性，并取得了最佳结果。

May, 2021

本文提出了基于自监督和对比表示学习的新型语音问答培训方案，采用多元增广策略以及时间对齐注意来更有效地指导生成模型，实现最佳答案预测解决方案，在三个 SQA 基准测试上取得了最新成果。

Sep, 2021

本文提出了一种基于自编码语言模型的集成学习方法，称为 ALMEn，用于常识验证和解释，在 SemEval-2020 任务 4 的基准数据集上表现良好，可区分违反常识的自然语言陈述并正确识别其原因，验证和解释选择子任务的准确性分别达到 97.9％和 95.4％，超过了现有的最先进模型。

Apr, 2022

该论文提出了一个常识问答的新数据集 ——CommonsenseQA，并采用了多个目标概念，旨在提高常识推理的难度，在使用 BERT-large 作为基线方法的情况下，最佳准确率为 56%。

Nov, 2018

本文介绍了一种基于 BERT 的上下文对话编码器 DialogueBERT，通过五个自超监督学习预训练任务学习对话表述的特殊性，并整合了四个不同的输入嵌入来捕捉话语之间的关系，该模型在意图识别、情感识别和命名实体识别等三个下游对话理解任务中表现出优异性能。

Sep, 2021