本文提出了一种基于 DISCOS 算法的常识知识获取框架，能够将更昂贵的复杂常识知识自动转化为更可承担的语言知识资源，以此来获取大规模常识推理知识。此方法在 novelty 和 diversity 方面表现优越，拥有着与监督学习方法相当的质量。

Jan, 2021

通过使用 GPT 编译了一个新的合成数据集 ConvoSense，在对话语境中进行常识推理，具有更大的上下文新颖性、更多的推理数量和推理所传达的详细信息丰富，使得针对对话的生成式常识模型在产生合理且具有高新颖性推理时优于之前的数据集训练的模型。据我们所知，ConvoSense 是首个以如此大规模提供如此多新颖推理的数据集。

Jan, 2024

本文提出了 Discern，透过将文件拆分成 EDU 单元，进行前置训练的话语分割模型，并以弱监督方式预测 EDU 是否为对话中用户反馈的被蕴含，提高文件和对话的理解，取得最高决策准确度 78.3% 及跟进问题生成 BLEU1 64.0 的成果。

Oct, 2020

本研究针对 commonsense 在对话回应生成中的作用进行了实证研究，提出了一种新的对话数据集，并利用 ConceptNet 这个 commonsense 知识库，找到并整合了现有的真实对话数据集。通过使用这些数据集训练响应生成模型，该研究提出的自动评估方法显示出一定合理的评价效果。

Sep, 2021

该论文介绍了我们在 DISRPT2021 共享任务中的贡献，我们的系统 DisCoDisCo 基于 Transformer 的神经分类器，在上下文化的词嵌入上增加手工制作的特征，并依靠标记词序列的方法实现话语分割和联结检测，利用富有特征、无编码器的句子对分类器实现关系分类，我们的结果在前两个任务上优于上一次 2019 共享任务的 SOTA 成绩，并且在关系分类上的结果表明对 2021 年新基准测试具有强大的性能。消融实验表明，包括 CWEs 以外的特征对于两个任务都是有帮助的，多个预训练 Transformer 基于语言模型的局部评估表明，基于 Next Sentence Prediction（NSP）任务预训练的模型是实现关系分类的最佳选择。

Sep, 2021

本文旨在探讨预训练语言模型在常识推理数据集中的可靠性和全面性，并提出了一个新的包含自然语言真 / 假语句对的常识推理基准数据集，通过对不同维度的领域的知识、推理场景以及数学的设计来促进常识能力的系统分析，并设计了成对精度度量标准来可靠地衡量代理的常识推理能力。实验结果表明，我们最强的基线模型在微调后达到了约 71％的标准准确性和约 51％的成对准确性，远低于人类表现。

Jun, 2021

本文介绍了 CIDER，一种人工筛选的数据集，旨在通过上下文常识推理提取对话中的富含隐含和显式知识三元组的解释，且通过多项基准测试表明此任务的困难性和它为未来有前途的研究提供了重要的基础。

Jun, 2021

本文提出使用基于深度结构语义模型（DSSM）的神经网络模型，并借助大量未经监督学习的文本来学习常识知识，以解决常识推理任务（Winograd Schema challenges）和代词消岐（Pronoun Disambiguation），并证明其在句子上下文信息和代词和名词之间的引用信息捕捉方面的有效性和显著性改进。

Apr, 2019

该论文提出了一种名为 DISCO 的新框架，可以使用大规模语言模型生成高质量的反事实数据，并借助特定于任务的老师模型过滤生成，以提高模型的稳健性和泛化性能。实验结果表明，使用这种方式进行学习，学生模型的鲁棒性和跨分布能力比基线提高了 6%（绝对）和 5%。

Dec, 2022

该论文提出了一个可以评估处理自然语言时的句子内语篇特征的精细化预训练模型，该模型包含 9 个文献领域的测试集，涵盖了许多超出了跨句子属性的问题。

Jul, 2023