开放域过程文本的流图预测
本研究提出了一种方法来从过程性文本中识别相关信息并在句子之间生成信息流,通过建立一个大规模的经过注释的过程性文本数据集和进行全面实验,证明了使用 LM-GNN 模型变种的图卷积网络与 BERT 句子嵌入在三个不同领域(网络安全,维护手册和烹饪)中均优于仅使用 BERT 的方法。
May, 2021
提出一种无监督学习的方法,使用图表示法从烹饪食谱中提取相关信息,并通过解码图成文本进行监督,与其他方法相比,使用文本到图和图到文本的方式迭代学习图结构和参数,并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。
Jan, 2024
该研究介绍了一种用于程序化阅读理解的算法,将文本转换成一般的形式,将过程表示为实体属性的转换序列,利用预训练的语言模型,同时预测实体属性和它们的转换,实现了对 ProPara 和 npn-cooking 两个数据集的最新成果。
Mar, 2020
该研究提出了一种无监督学习方法,可将多个过程文本总结成直观的图形表示,用于探索任务的共性和差异,以帮助用户完成包括易于入门的菜谱修改和发掘烹饪创意等多种推理任务。
Oct, 2022
使用文本环境进行规划仍然是人工智能系统面临的主要挑战之一。最近的研究方法使用语言模型来预测规划领域定义(例如 PDDL),但仅在封闭领域的模拟环境中进行评估。为了解决这个问题,我们提出了 Proc2PDDL,这是第一个包含开放领域流程文本和专家注释的 PDDL 表示的数据集。利用这个数据集,我们评估了最先进的模型在定义行动的前提条件和效果方面的性能。我们展示了 Proc2PDDL 数据集的高度挑战性,GPT-3.5 的成功率接近于 0%,而 GPT-4 的成功率约为 35%。我们的分析表明存在句法和语义错误,这表明语言模型在生成领域特定程序和推理事件方面存在不足。我们希望这个分析和数据集有助于未来将语言模型和形式规划的优点融合在一起。
Feb, 2024
我们提出了一种基于序列的预训练方法,以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法,并显示这些方法在两个下游实体跟踪数据集(食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集)上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务,这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6%和 7-9%。
Apr, 2024
本篇论文利用开放词汇表,提出一种新的任务形式,通过给定程序文本来生成每个步骤的状态更改元组,并使用众包创建数据集 OPENPI1,其中包含来自 WikiHow.com 中 810 个实际段落、4,050 个句子的 29,928 个状态更改,该任务的最新生成模型在此数据集上实现了 16.1% 的 F1,留有足够的空间提出新的模型结构。
Oct, 2020
基于 T5 和 GPT-3.5 的基线模型,该研究论文介绍了具有中间步骤描述的烹饪食谱语料库,以有效地理解和推理烹饪食谱中的输入和输出,从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。
Jan, 2024
利用图形化方法描述菜谱的工作流程是一个需要常识推理的复杂任务。本文提出了一个基于神经网络技术的编码器 - 解码器模型,通过使用视觉和文本信息来构建食品制作工作流程。我们还构建了一个包含 9,850 道菜谱的大型数据集,采用该方法比手工特征提取能够显著提高 20% 以上的性能。
Aug, 2020
本文研究领域适应和泛化中的预测领域适应的问题,提出了一种能够通过图形利用辅助域中信息的深度学习架构,同时提出了一种简单有效的策略,能够在测试时利用流入的目标数据进行连续的领域适应,并在三个基准数据库上进行了实验证明了我们方法的价值。
Mar, 2019