本文提出了一个用于在大规模上提取高质量文化常识知识 (CCsk) 的端到端方法，名为 CANDLE，该方法从 Web 语料库中提取 CCsk 断言并将它们组织成相符的类群，包括地理、宗教、职业等 3 个领域，多个文化方面。通过分类过滤和趣味分数评估方法，CANDLE 优于先前的作品，并且实验评估演示了 CCsk 对 GPT-3 语言模型带来的好处。

Oct, 2022

研究一个新的框架，基于 Symbolic Knowledge Distillation，使用通用语言模型自动化地从 ATOMIC 资源中筛选高质量因果常识，并创造一种新的常识模型，其大小只有原始模型的 1/100，但功能优于其老师模型。

Oct, 2021

通过使用抽象概念的方法，建立了一个可适用于人类常识推理的抽象通识知识图谱，并通过基于语言特征的启发式规则和神经模型计算与验证其抽象知识的有效性。

Jun, 2022

CAT 是一种语境化的概念归纳和实例化的半监督学习框架，可大规模概念化常识知识库，并通过实验证明，其获得的抽象常识知识可以显著提高常识推理建模的准确性。

May, 2023

本文研究使用新型的常识提取算法来提升较小的语言模型的常识能力，通过符号知识的传递和自我仿真学习，提出了 I2D2 框架并在生成泛化性句子方面进行实证研究，结果表明规模不是影响模型能力的唯一因素，新的算法是可行的。

Dec, 2022

大语言模型通过教师 - 学生学习实现对较小模型的推理增强，但传统方法在领域内推理表现优秀的同时，在跨领域任务中效果较差。本文通过将传统的单步学习过程分解为两个级联学习步骤，提出了级联分解 Chain-of-Thoughts 教师 - 学生学习（CasCoD）方法，通过去除预设答案并将问题与基本原理连接为输入，确保学生模型着重学习推理原理而不受干扰，从而提高推理泛化能力。广泛实验证明 CasCoD 在领域内和跨领域基准推理数据集上的有效性。

May, 2024

使用基于错误的驱动关键推理步骤蒸馏（EDIT）方法，可以更有效地帮助小型语言模型学习重要的推理步骤，而不仅仅是简单的微调，验证了其在基准推理数据集上的有效性。

May, 2024

提出了一种知识蒸馏方法以学习从比自身大几个数量级的大型语言模型中生成一致合理的解释的小型自洽 Chain-of-Thought（CoT）模型，它使用教师模型生成的合理解释来学习学生模型，并使用对抗性约束来保证学生模型保持一致性和反事实推理，实验结果表明，这种方法可以更好地生成有利于提高性能的 CoT 解释。

May, 2023

本文旨在通过知识蒸馏的方式将大型语言模型的推理能力传递给较小模型，提出了一种名为 Sci-CoT 的两阶段框架，该框架通过分离生成推理步骤和推理答案的过程，在科学问答任务中利用推理步骤更有效地进行推理，使得 8000 万参数的模型在 ARC-Easy 数据集的少样本情况下超过了 BLOOM-176B 的性能。

Aug, 2023

本文提出了一种基于 DISCOS 算法的常识知识获取框架，能够将更昂贵的复杂常识知识自动转化为更可承担的语言知识资源，以此来获取大规模常识推理知识。此方法在 novelty 和 diversity 方面表现优越，拥有着与监督学习方法相当的质量。

Jan, 2021