ACLMay, 2021

采用概率世界构建实现通用的自然语言理解

PDF
TL;DR本文介绍了全新的符号化贝叶斯语义分析和推理模型 Probabilistic Worldbuilding Model (PWM)，旨在实现更通用的自然语言理解与人工智能。PWM 采用贝叶斯理论，能够推广到新领域和新任务，并通过解析和消除更新的方式实现语句的理解和推理能力。作者通过在两个数据集上的评估表明，该方法在问题回答和推理方面的能力优于基线。
发现论文，激发创造
  • 从词模型到世界模型：从自然语言翻译到思维的概率语言

    本文提出了一种基于理性意义构建的计算框架来实现语言驱动的思维，将语言和概率性推理的概率语言模型结合以构建适应上下文的符号推理模型，同时开发了统一的通用推理接口以实现全面的常识推理。

    Jun, 2023

  • 基于大语言模型的概率图模型的语言表达

    本文介绍了一种新颖的贝叶斯提示方法，通过使用一个语言大模型（LLMs）中的一个模糊概率图模型（PGM）来实现无需训练的贝叶斯推理。我们的模型在多个组合推理任务中取得了良好的效果，有效提升了置信度的引发和文本生成质量，显示出在模拟不确定性方面提高人工智能语言理解系统的潜力。

    Jun, 2024

  • 通过概率推理实现逻辑一致的语言模型

    通过引入基于原则的概率推理训练目标，本研究改进了大型语言模型的逻辑一致性和新知识推理能力。

    Apr, 2024

  • 数学故事问题的全球模型

    本文提出了一个基于图形的语义形式化方法 MathWorld，用于对数学问题进行世界建模，以进一步提高自然语言处理模型的推理和世界建模能力，并且基于该方法，成功生成了新问题并验证了其在其他方面的应用。

    Jun, 2023

  • 面向具体情境的问答语义解析与概率编程

    本篇论文提出了一种名为 P3 的基于概率编程的问答模型，可以使用背景知识和问题 / 环境的全局特征，同时保留高效的近似推理。该模型将语义解析作为概率程序进行处理，可以执行不确定的行为，其可能的执行路径代表了环境的不确定性。作者基于一个新的、公开发布的包括 5000 个科学图表的数据集进行了实验，结果表明该模型的表现优于经典和神经基线模型。

    Jun, 2016

  • 朝向基于历史的语法：使用更丰富的模型进行概率分析

    本文提出了一种基于概率的自然语言生成模型 HBG，与传统方法不同的是，这种方法利用详细的语言学信息来消除歧义，通过使用 Treebank 语料库和决策树构建，HBG 从句子的句法、语义和结构方面确定正确的分析。在与最佳现有鲁棒概率分析模型 P-CFG 的 head-to-head 比较中，HBG 模型取得了显著的优势，将分析精度率从 60% 提高到 75%，减少了 37% 的误差。

    May, 1994

  • 生成式大型语言模型中的概率推理

    本研究考虑了大型语言模型（LLMs）在推理涉及概率值明确量化的文本时面临的挑战。通过引入贝叶斯语言推理数据集（BLInD），我们详细说明了 LLMs 在涉及概率推理的任务中的限制，并提出了几种将问题映射到不同形式表示的策略。我们通过在 BLInD 上进行评估以及对因果推理问答数据集的适应性改编等实验证明了这些方法的实际效果。

    Feb, 2024

  • 基于贝叶斯推理的自然语言人类概念学习建模

    本研究使用大型自然语言模型作为提议分布，对自然语言的陈述进行贝叶斯推理，以模拟人类抽象符号概念的学习。通过拟合先验人类数据，评估生成和逻辑概念的学习效果。

    Jun, 2023

  • 让故事活起来：生成交互式小说世界

    本文主要介绍了一个基于知识图谱和神经语言模型的交互式小说生成算法，通过提取常识和主题知识来实现语义连贯、有趣、一致的文本世界，实验结果显示该模型优于规则和人工基准。

    Jan, 2020

  • 使用自然语言和概率推理进行实验和修订规则

    我们构建了一个计算模型，用于描述人类如何通过实验主动推断隐藏的规则。该模型的基本原则是，即使规则是确定性的，学习者也会考虑到更广泛的模糊概率规则，通过自然语言表示，并根据近似贝叶斯原则在每次实验后在线更新其假设。在同一框架中，我们还根据信息论准则对实验设计进行建模。我们发现这三个原则的结合 - 显式假设、概率规则和在线更新 - 可以解释人类在 Zendo 风格任务中的表现，并且移除其中任何一个组件都将使得模型无法解释数据。

    Feb, 2024