推动 Transformer 在常识推理中的能力
本研究提出一种通用预训练语言模型的常识知识转移框架,通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进,使其更好地传递到需要常识推理的下游任务中并取得显著改善。
Jun, 2023
通过利用 ConceptNet 中的结构化知识,构造逻辑形式并生成常识性逻辑推理的多项选择题进行训练,我们提出了一种简单而有效的方法来教授预训练模型常识性推理,实验结果表明,这种训练可以使预训练模型在需要常识性推理的任务上表现稳定提升,特别是在少样本学习设置下。
Sep, 2019
本篇论文研究如何通过三种不同的适应方法来影响模型的泛化和准确性,其中 fine-tuning 虽然能够更好地学习任务的内容和结构,但容易出现过拟合和泛化能力有限的问题,相比较而言,使用类似 prefix-tuning 的替代适应方法能够更好地适应未见过的答案,并且更加鲁棒。
Sep, 2021
本论文调查了最近关于常识推理的谈话人工智能研究,列出了相关的训练数据集,并描述了在谈话人工智能中包含常识的主要方法,讨论了用于评估谈话人工智能中常识的基准,最后对两个最先进的开放对话模型 BlenderBot3 和 LaMDA 的常识能力进行了初步观察,并对自然交互产生了负面影响,进一步激发了关于常识推理在谈话人工智能中的研究。
Feb, 2023
本研究提出一种基于预训练 transformer 模型的全文格式的可信度排名得分方法,无需微调即可产生强大的基线,可以为通识推理任务提供更加稳定和有效的训练解决方案。
Apr, 2020
本文提出一种使用无监督学习、基于语言模型的神经网络常识推理的简单方法,通过对大量未标记数据的训练,优化单选题的得分,获得了很好的测试成绩,没有使用昂贵的注释知识库或手工特征工程。
Jun, 2018
本文提出概念感知的语言模型 (CALM),通过增强自监督学习任务以从文本中学习常识。CALM 可以在不依赖外部知识图谱的情况下将更多的常识知识整合到预先训练的文本转文本变压器的参数中,从而在自然语言理解和生成任务中实现更好的性能。
Oct, 2020
该研究提出了两种方法,通过外部常识知识图谱,隐式或显式地融入到预先训练好的自然语言处理模型中,以提高社交智能,这种方法对社交常识推理任务 SocialIQA 的表现在有限和完整的训练数据制度下都表现出良好的效果。
May, 2021
使用自然语言序列和突出的注释收集人类的常识推理解释,形成一个名为 CoS-E 的新数据集。利用 CoS-E 训练语言模型,在 Commonsense Auto-Generated Explanation (CAGE) 框架中生成解释,可用于训练和推理。实验结果表明能够有效利用语言模型进行常识推理。
Jun, 2019