Oct, 2022

使用语义级别精度和扩展词汇探究预训练语言模型中常识知识

PDF
TL;DR本研究探讨了如何在大型语言模型中丰富常识知识，并提出了一种基于 WordNet 的实化感知库对语言模型进行增强的方法，从而提高掩蔽式任务的预测精度。通过自我监督学习，在不进行进一步训练的情况下，实现了从 WordNet、WikiData 和 ConceptNet 中获取非平凡的常识知识，并比类似的基于相似性的方法更加有效。
commonsense reasoninglanguage modelscloze-style taskswordnetsenselama
发现论文，激发创造
  • 评估预训练语言模型中的常识

    本研究考察了 GPT、BERT、XLNet 和 RoBERTa 等四个基于预训练语言模型的通感知能力，通过在七个具有挑战性的基准测试中测试他们，在促进模型通感知能力方面，语言建模及其变体是有效的目标，而双向上下文和更大的训练集是额外的加分项。此外，我们发现目前的模型在需要更多必要推理步骤的任务上表现不佳。最后，我们通过制作相关的双重测试用例来测试模型的鲁棒性。有趣的是，模型在这些测试用例上表现混乱，这表明它们只是在表面上学习通感知而不是深层次的知识。我们公开了一个名为 CATs 的测试集，以供未来的研究使用。

    Nov, 2019

  • 为何神经语言模型在处理问题回答的语义变化时仍需要常识知识？

    本文通过使用诊断测试，揭示了预训练 MNLM 中包含的常识知识，并发现 MNLM 模型不能准确理解语义关系，还存在对需要常识知识的语义变化的脆弱性。此外，我们发现了某些知识未被训练的根本原因，并通过在受控实验中利用外部常识知识库来丰富文本的方法，提出了克服 MNLM 模型的局限性的可能性。

    Sep, 2022

  • 大型语言模型中常识知识的系统调查

    本研究通过对大量数据进行训练的语言模型的零样本和少样本常识评估，旨在更好地理解这种模型学习常识知识的程度，结果显示预训练的语言模型在没有任务特定监督的情况下获取常识知识的能力受到了很大的限制。更大的模型或少量评估也无法达到人类常识水平。

    Oct, 2021

  • 遮蔽式神经语言模型为什么仍然需要常识知识？

    本文提出了对预训练 MNLM 的实证分析，观察到 MNLMs 在部分理解各种类型的常识知识的同时又不准确地理解了关系的语义含义，同时通过结合外部常识库的知识证明可以提高预训练 MNLM-based 模型的效能。

    Nov, 2019

  • 通过填空测试评估机器常识

    通过对语言模型的表现的一系列测试和测量，本文揭示语言模型的强项与局限，提出了利用填空测试结合词嵌入来度量 LM 的鲁棒性和置信度，结果显示语言模型虽然能够实现类人的准确性，但其置信度不足。将来的工作可以利用这一信息来构建更复杂的系统，如符号和分布式知识的集合。

    Jan, 2022

  • 为预训练语言模型提供常识知识转移

    本研究提出一种通用预训练语言模型的常识知识转移框架，通过从神经常识知识模型中提取框架通用文本中的常识知识并利用两个自监督目标对模型进行改进，使其更好地传递到需要常识推理的下游任务中并取得显著改善。

    Jun, 2023

  • 预训练模型中的常识知识挖掘

    使用预训练的双向语言模型将关系三元组转换为掩码句子，通过估计点间互信息来排名三元组的有效性，从而开发了一种生成常识知识的方法。该方法在新源中挖掘常识知识时优于显式训练的模型，说明无监督技术比目前的有监督方法更具推广性。

    Sep, 2019

  • 为基于概念的常识构建预训练文本到文本变换模型

    本文提出概念感知的语言模型 (CALM)，通过增强自监督学习任务以从文本中学习常识。CALM 可以在不依赖外部知识图谱的情况下将更多的常识知识整合到预先训练的文本转文本变压器的参数中，从而在自然语言理解和生成任务中实现更好的性能。

    Oct, 2020

  • 一种简单的方法：将常识性知识融入语言表示模型中的对齐、掩码和选择

    提出了一种利用预训练方法将常识知识融入语言表示模型的方法，并通过训练一个多项选择问题回答数据集来实现。实验结果表明，使用该方法进行预训练之后 Fine-tuning 的模型，在两个常识关联基准测试上都能取得显著提高，并且不会降低模型的语言表示能力。

    Aug, 2019

  • 常识还是世界知识？研究基于 Adapter 的预训练 transformer 知识注入

    本文介绍了通过适配器训练在 BERT 的分布式知识基础上，将 ConceptNet 和其对应的 OMCS 语料库的概念知识注入到语言模型中以提高推理性能的方法。实验结果表明，适配器训练得到的模型在需要 ConceptNet 和 OMCS 所代表的概念知识进行推理的任务中表现显著优于 BERT。

    May, 2020