ACLApr, 2024

基于顺序的程序化文本理解的预训练策略

PDF
TL;DR我们提出了一种基于序列的预训练方法，以加强自然语言处理中的程序理解。我们的工作是首次比较了几种 “以顺序为监督” 的 Transformer 预训练方法，并显示这些方法在两个下游实体跟踪数据集（食谱领域的 NPN-Cooking 数据集和开放领域的 ProPara 数据集）上相对于基准模型和最新方法有了改进的结果。我们的方法解决了需要预测过程步骤中实体状态的非平凡的实体跟踪任务，这需要理解步骤的顺序。这些方法在 NPN-Cooking 和 ProPara 数据集上相对于最佳基准模型分别在度量指标上提高了 1.6％和 7-9％。
sequence-based pretraining methodsprocedural understandingorder as-supervisionentity tracking tasknpn-cooking dataset
发现论文，激发创造
  • 利用 Transformer 网络有效实现实体追踪

    本研究探讨了在过程性文本中使用预训练的 transformer 网络跟踪实体的能力，发现通过调整输入结构，可以取得更好的实体跟踪结果，在配方中实现了材料检测以及在科学过程中进行了问答，达到了最先进的结果，但我们的模型仍然主要关注表面上下文线索，没有形成中间实体或进程状态的复杂表示。

    Sep, 2019

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建 Procedural Knowledge Graph (PKG) 生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中 PKG 结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型 Paprika 在 12 个任务上实现了高达 11.23% 的精度提升。

    Mar, 2023

  • 视频本地化指令生成的高效预训练

    通过 Sieve 和 Swap 技术自动筛选和替换人工写入的文本指导，构建一个比当前大规模数据集小三个数量级的精选数据集，从而提高大规模模型在过程视频中的性能。同时使用 Procedure Transformer (ProcX) 进行步骤定位和指导生成，以零 - shot 和微调设置在 YouCook2 和 Tasty 数据集上取得了最先进的性能，并且使用了较少的计算资源。

    Nov, 2023

  • 具有属性感知上下文流的程序性阅读理解

    该研究介绍了一种用于程序化阅读理解的算法，将文本转换成一般的形式，将过程表示为实体属性的转换序列，利用预训练的语言模型，同时预测实体属性和它们的转换，实现了对 ProPara 和 npn-cooking 两个数据集的最新成果。

    Mar, 2020

  • 无监督学习食谱图

    提出一种无监督学习的方法，使用图表示法从烹饪食谱中提取相关信息，并通过解码图成文本进行监督，与其他方法相比，使用文本到图和图到文本的方式迭代学习图结构和参数，并通过与标注数据集的实体对比、输入和输出文本的差异对比以及与现有方法生成的图的对比来评估该方法。

    Jan, 2024

  • 指针引导的预训练：将大型语言模型注入段落级上下文意识

    我们提出了一种名为 “指向引导的段落排序”（SO）的新型预训练技术，旨在增强大型语言模型中段落级文本表示的上下文理解。该方法利用自注意力驱动的指针网络来恢复被乱序的文本段落的原始顺序，解决了捕捉文档内部结构连贯性和上下文依赖关系的挑战。这种预训练方法通过结合动态采样的微调方法，增加了训练实例的多样性，并提高了各种下游应用中的采样效率。我们在各种数据集上评估了该方法，在需要对科技文献和财务报告领域的连续文本进行分类的任务中，展示了其有效性。我们的实验结果表明，指向引导的预训练显著增强了模型理解复杂文档结构的能力，并在下游分类任务中达到了最先进的性能。

    Jun, 2024

  • PizzaCommonSense: 学习对烹饪食谱的中间步骤进行常识推理

    基于 T5 和 GPT-3.5 的基线模型，该研究论文介绍了具有中间步骤描述的烹饪食谱语料库，以有效地理解和推理烹饪食谱中的输入和输出，从而为智能推理和程序文本生成提供了有关常识推理的挑战性任务和见解。

    Jan, 2024

  • 基于结构化数据的订单规划神经文本生成

    研究人员提出了一种基于训练有素的神经网络的文本生成模型，以便从结构化数据中（例如表格）生成自然文本，该模型能够捕捉不同字段之间的关系，以生成更流畅的文本。

    Sep, 2017

  • 大型语言模型下的程序化文本挖掘

    利用大规模语言模型和上下文学习，本研究探讨了从非结构化 PDF 文本中提取程序的问题，结果显示该方法有潜力显著解决深度学习自然语言处理技术中所遇到的数据训练不足的挑战。

    Oct, 2023