子任务分解使序列到序列任务学习成为可能
研究提出了一种名为 Text Modular Networks 的通用框架,用于构建可解释性系统,该系统通过将复杂任务分解成已经存在的模型可以解决的较简单的任务来学习解决复杂任务。该框架应用于问答领域,提出了一个名为 ModularQA 的系统,该系统可以将多个子问题组成多跳推理问题,并对模型推理过程提供自然语言解释。与现有的解释系统相比,该系统具有更好的灵活性和鲁棒性,并且生成的解释更易于理解和可信度更高。
Sep, 2020
本文提出了一种基于源输入逐步自适应重编码的 sequence-to-sequence 模型扩展,以此来鼓励解开编码时存在的混淆状态。最终实验结果表明,这个扩展能够提供更好的解释性和推广性。
Oct, 2021
提出了分解提示法(Decomposed Prompting)的方法,通过将复杂任务分解成简单的子任务来解决复杂任务,并且可以针对每个子任务优化其专用提示,进一步分解复杂任务并取得更好的性能,特别是在符号推理任务和多步推理任务中。
Oct, 2022
本文研究大规模中介设备的预训练,在使用来自可比文本,特别是大规模平行新闻的远程监督的情况下将显式分解建模应用于自然语言理解系统。作者称使用这种中间预训练可以更容易地开发强大的显式分解模型。例如,该模型在语义分析方面取得了 20%至 30%的改进,并用于构建名为 DecompEntail 的新型显式分解问答系统。
Oct, 2022
该研究旨在创建一个交互式、自然语言接口,通过学习用户在模拟机器人环境中完成任务。该接口引入了一种神经语义解析系统,通过分解学习新的高层抽象:用户通过将描述新行为的高层话语分解为它可以理解的低级步骤来与系统互动。作者的方法弥合了现有方法之间的差距,并证明了现代神经系统的灵活性以及基于语法的方法具有的一次可靠泛化能力。研究还讨论了实现交互式范式的潜力的障碍。
Oct, 2020
通过使用透明的中间状态进行复合会带来可解释性和安全性的好处,但可能需要工作流程支持和基础设施来保持竞争力,为此我们描述了一种人在循环中使用的对于开发和完善复合 LM 程序的工作流程,并开发了一个可视化 LM 程序执行跟踪的开源工具 - ICE,通过三个真实世界的案例将这一工作流程应用于 LM 程序,并比非组合基线提高了 LM 程序的准确性 - 描述随机对照试验中使用的安慰剂(25%到 65%),评估参与者遵守医疗干预(53%到 70%)以及在 Qasper 数据集上回答 NLP 问题(38%到 69%)。
Jan, 2023
提出新的跨度替换策略(SpanSub)和基于嵌入式的学习框架(L2S2),分别解决了神经序列模型中的组合泛化问题和不均等难度分布下的挑战性组合问题,成功提高复杂数据集上的性能。
Jun, 2023
本文提出了一种名为 OMPN 的有序记忆策略网络,用于通过学习人类演示中的层次结构发现子任务层次结构,进而通过任务分解恢复无结构演示中的子任务边界。实验证明,在无监督和弱监督设置下,OMPN 模型可以比强基线模型更好地实现任务分解。而且,OMPN 模型也可以直接应用于部分可观察的环境,仍然可以实现更高的任务分解性能。
Mar, 2021
通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人工设计呈现更好的真实通用性。
Dec, 2022