ACLJun, 2017

动词物理学：动作和物体的相对物理知识

PDF
TL;DR这篇论文提出了一种从非结构化自然语言文本中推断对象和行为的物理知识的方法，并将知识获取作为两个相关问题的联合推理，即学习对象对的相对物理知识和应用于这些对象对时行为的物理含义。经验证明，从语言中提取对象和行为的知识是可行的，并且不同类型知识的联合推理可以提高性能。
commonsense knowledgenatural language textknowledge acquisitionphysical knowledgejoint inference
发现论文，激发创造
  • 神经语言表征是否学习了物理常识？

    本文研究了目前最先进的神经语言表示在物理常识推理方面的表现，结论显示，尽管神经语言模型在各种自然语言推理任务上表现出色，但在物理常识方面仍然只能学习到现有的明确规则和关联性。

    Aug, 2019

  • 用反常识情境评估物理推理能力

    通过创建 CConS 数据集，我们研究物理常识如何影响语境化尺寸比较任务，并测试多个遮蔽语言模型和生成模型的能力，结果表明大型语言模型可以使用前置词推断大小关系，但他们因其固有的物理常识而无法使用动词，从而做出错误的判断

    Jun, 2023

  • 语言模型的物理学：第 3.2 部分，知识操作

    本文研究了语言模型在推理过程中利用存储的知识的能力，发现预训练的语言模型在知识检索方面表现出色，但在简单的分类、比较和逆向搜索任务方面表现较差，即使在训练和推理过程中使用了控制思维链。研究的主要贡献是通过一个合成数据集的控制实验，证实了语言模型无法有效地操作预训练数据中的知识，即使这些知识完全存储且模型可以完全提取，且进行了适当的指导微调。

    Sep, 2023

  • 从视觉信号探索空间常识中未被书写的事物

    本研究利用图像合成的方法，构建了一个专注于对象相对尺度和位置关系的空间常识基准，并证明相较于文本预训练模型，具有视觉信号的模型更能准确和持续地学习空间常识，从中获得的知识也可用于具有空间常识的自然语言理解任务。

    Mar, 2022

  • NEWTON：大型语言模型是否具备物理推理能力？

    通过评估物理推理技能的新基准数据集 NEWTON，以及针对对象与属性的推理任务，研究发现大型语言模型在场景任务中表现出强大的推理能力，但在对象 - 属性推理方面与人类相比存在欠缺（50％对比 84％），新基准数据集 NEWTON 展示了评估和提升语言模型的潜力，为将其整合到以物理为基础的环境中铺平了道路。

    Oct, 2023

  • 注入常识知识对动作和状态变化的推理

    本文探讨了通过引入全局常识约束和利用大规模语料库的先验知识，将预测性文本描述中的操作和状态更改建模，从而提高神经结构预测模型的准确性和可靠性，并在基准数据集上展示了相对增益为 8％的结果。

    Aug, 2018

  • 基于物体中心预测模型的内在物理概念发现

    本文介绍了一个无需监督训练的系统 PHYsical Concepts Inference NEtwork (PHYCINE)，该系统可以发现和表示物理概念，包括物质和电荷，并且使用这些变量来获得比仅使用可见对象特征更好的因果推理性能。

    Mar, 2023

  • 学习多模态环境中物理动作的影响

    通过加入图像和文本等多种形式的感官信息以及使用对象的潜在表示对 LLM 进行扩展，以更好地预测动作结果，进而推广并学习物理常识推理。

    Jan, 2023

  • PIQA：自然语言中关于物理常识的推理

    本文提出了物理常识推理的任务以及相应的基准数据集 PIQA。我们指出现有的预训练模型在该领域的表现较差，探究了缺失的知识维度，并为未来的研究提供了机会。

    Nov, 2019

  • POSQA：使用大小比较来探究 LLMs 的世界模型

    通过提出 POSQA 数据集，我们研究了最新的大型语言模型的体现性理解，并发现即使是目前最大的语言模型在零样本设置下表现不佳，进一步通过高级提示技术和外部知识增强来提升它们的性能。我们调查了他们对真实世界理解的主要来源以及提示格式的影响，结果表明基于文本数据形成的语言模型对提示的表面形式容易受到欺骗和困惑，导致其与人类行为的契合性降低。

    Oct, 2023