将任务特定的概念知识融入脚本学习中

Aug, 2022

将任务特定的概念知识融入脚本学习中

Incorporating Task-specific Concept Knowledge into Script Learning

Chenkai Sun, Tie Xu, ChengXiang Zhai, Heng ji

TL;DR本文介绍了 Tetris 任务，它考虑更现实和更通用的设置，其中输入不仅包括目标，还包括附加的用户上下文，包括偏好和历史。为了解决这个问题，我们提出了一种新的方法，它使用两种技术来改进性能：（1）概念提示，和（2）面向脚本的对比学习，解决了步骤重复和幻觉问题。在我们的基于 WikiHow 的数据集上，我们发现两种方法都改善了性能。该数据集，代码仓库和模型将公开提供，以促进对这个新任务的进一步研究。

Abstract

In this paper, we present tetris, a new task of Goal-Oriented Script Completion. Unlike previous work, it considers a more realistic and general setting, where the input includes not only the goal but also additional user context, including preferences and history. To address this prob

tetris goal-oriented script completion concept prompting contrastive learning wikihow-based dataset

发现论文，激发创造

面向目标的脚本构建

本文提出了一种目标导向的脚本构建任务，通过基于语言模型的生成方法和首先从候选池中检索相关步骤然后排序的检索方法，使用第一个支持 18 种语言的多语言脚本学习数据集来试验该任务，并表明该任务是实用的，可行的但挑战性很大，同时我们的方法在零 - shot 学习下能够在各种其他数据集和领域中轻松部署。

Jul, 2021

机器人的交互式视觉任务学习

我们提出了一个框架，使机器人能够通过与人类用户进行当场语言交互来学习新的视觉概念和任务。通过在概念层次结构中给予新概念的父节点增加信息传播，我们提出了一种新方法 Hi-Viscont，该方法允许学习视觉概念层次结构的方法学习新的概念并解决未见过的机器人任务。我们还将视觉任务表示为带有语言注释的场景图，从而使我们能够零样例实时创建任务的新排列组合。通过与基线模型比较 Hi-Viscont 在视觉问答中的表现，我们得出一系列结果。在叶节点概念上，Hi-Viscont 与基线模型具备可比性，但在非叶节点概念上平均提高了超过 9%。对比基线模型，我们的框架在成功率、物体级准确率上分别提高了 33% 和 19%，从而证明了我们的模型在机器人的持续学习环境中学习任务和概念的能力。

Dec, 2023

多媒体生成式脚本学习用于任务规划

提出了一种新的多媒体生成式脚本学习任务，通过同时跟踪文本和视觉模态中的历史状态，并以描述性图像呈现，旨在生成可视状态跟踪、对未见任务有归纳性和具有多样性的脚本，通过多媒体选性编码器实现对视觉状态变化的编码，使用检索增强解码器从以前观察到的任务中传递知识，通过优化多样性导向的对比学习目标，呈现每个步骤的不同信息。实验结果表明，该方法显著优于强基线。

Aug, 2022

通过多媒体基础实现非顺序图脚本归纳

该论文提出了一种新的具有挑战性的任务，即非顺序图脚本推理，旨在捕捉程序规划中的可选步骤和可互换步骤，通过多模态框架将视频转换成观察到的步骤路径，以训练生成明确图脚本和预测未来步骤的模型。该模型优于纯文本 / 视觉基线，人类评估显示超过 WikiHow 线性基线，能够更好地捕捉顺序和非顺序步骤关系。

May, 2023

MULTISCRIPT: 支持开放领域日常任务的多模态脚本学习

通过建立 MultiScript 基准测试，我们提出了两种引入任务相关知识的多模态生成框架，这些框架显著提升了脚本生成和后续步骤预测的性能。

Oct, 2023

中途休息：探究分层脚本生成中的子目标

本文从认知理论的角度扩展了目标导向脚本生成的任务，并提出了基于子目标的层次化组织方法。研究者们贡献了一个新的数据集，并提出了几种基线方法和评估指标，表明了子目标与层次化脚本生成的有效性。此外，研究者们还设计和评估了发现子目标的模型，并发现此过程比从分段步骤中进行摘要更加困难。

May, 2023

视觉编程的神经任务合成

使用神经符号技术 NeurTaskSyn, 可以为给定的编程要求自动综合编程任务，可提高编程教育的质量。

May, 2023

超越任务成功：关注同时学习观察、提问和猜测

本文提出了一种基于视觉支撑和对话系统组件融合的对话状态编码器，并以猜谜游戏 GuessWhat?! 为测试基地。通过多任务学习和协作学习，得出本文方法比基准系统更准确且具备更好的语言技能。

Sep, 2018

复合视觉运动任务的一次性分层模仿学习

我们研究了从单个人类表演视频中学习多阶段基于视觉的任务，同时利用不同对象的子任务演示数据，学习如何从原始像素中学习基本行为并动态组合这些行为以执行多阶段任务的方法。

Oct, 2018

iREL 参加 SemEval-2024 任务 9：改进传统提示方法以解决脑筋急转弯

这篇论文描述了我们在 SemEval-2024 任务 9 中的方法：BRAINTEASER：一项挑战常识的创新任务。BRAINTEASER 任务包括多项选择问答，旨在评估模型的横向思维能力。它由句子拼图和单词拼图子任务组成，要求模型打破默认的常识联系，展现非传统的思维方式。我们提出了一种独特的策略，以改进预训练语言模型（特别是 Gemini 1.0 Pro 模型）在两个子任务中的性能。我们采用静态和动态的少样本提示技术，并引入了一个模型生成的推理策略，利用语言模型的推理能力来提高性能。我们的方法取得了显著的改进，表现远优于基准模型，但仍不及人类标注者，从而凸显了所提策略的功效。

May, 2024