ACLMay, 2022

SeqZero：使用序列提示和零 - shot 模型进行少样本组合语义分析

PDF
TL;DRSeqZero 提出了一种基于分解子问题的 few-shot 语义分析方法，通过使用预训练语言模型生成简短答案，避免在一次生成长的规范化语句的过程中遗忘预先的知识，同时利用零 - shot 模型来减轻过拟合的问题，并结合了一种约束重缩放的方法，取得了 BART-based 模型在 GeoQuery 和 EcommerceQuery 上的 SOTA 表现。
pretrained language modelsfew-shot semantic parsingseqzeroformal languageensemble
发现论文，激发创造
  • 使用大型语言模型的零样本任务导向语义解析

    本研究探讨了如何利用大型语言模型进行零 - shot 语义解析的方法，提出了一种名为 ZEROTOP 的采用问答 (QA) 问题分解语义解析问题的解决方案，并通过精调语言模型在 QA 数据集上的表现，实现了对 MTOP 数据集中约 16% 的短语进行无标注数据的语义解析。

    Dec, 2022

  • 概念预训练下的低资源组合语义分析

    本文提出的基于 seq2seq 的模型结构，可以在零样本或少量样本的情况下，通过对新领域的元数据进行编码，自动实现领域自适应的语义解析，并通过在 Wikidata 上预训练以增强概念感知能力，从而在 TOPv2 和 SNIPS 数据集上优于以前的研究成果。

    Jan, 2023

  • 无零样本语义解析的结构与词汇解耦

    本文提出一种零样本方法，该方法可以在只在其他源域示例中进行训练的情况下解析看不见领域的话语，并通过词汇对齐分数和全局推理将槽替换为知识库常量，从而解决了当前语义解析器需要昂贵监督并且不能推广到新领域的问题。

    Apr, 2018

  • 教小型语言模型如何推广到未见过的组合问题

    我们在本文中提出了一种通过多任务监督预训练和密集检索系统的组合来实现对具有挑战性的复合问题的泛化的方法，并且展示了通过添加用于训练的检索增强数据集可以显著提高模型的性能。

    Aug, 2023

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • 零样本语义解析指令

    本文提供了一个新的数据集，旨在解决零样本语义分析和训练算法，并通过增加特征和逻辑形式候选筛选逻辑，从而支持零样本适应。实验结果表明，该算法在多种零样本适应环境中展现出显著的性能提升。

    Nov, 2019

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 零样本跨语言语义解析

    本文提出一种多任务编码 - 解码模型，通过多语言领域内语料库和英文 - 逻辑形式对标数据，在没有平行语料的情况下完成跨语言的语义解析，模型加强了语言无关编码，显著优于传统基于翻译的算法，有时能与有监督模型的上线媲美。

    Apr, 2021

  • Socratic 模型：用语言组成零样本多模态推理

    本文提出了 Socratic Models（SM）框架，该框架可用于将多个大型预训练模型组合为一体，以实现对多模式数据的交换和新的多模式应用成果。

    Apr, 2022

  • 面向对话式搜索的零次查询重构

    通过无监督对话查询改写，解决了普遍存在的语义歧义和遗漏问题，提升了零样本会话搜索的性能和可解释性。

    Jul, 2023