ACLOct, 2022

CLASP：用于语义解析的少样本跨语言数据增强

PDF
TL;DR本研究提出 CLASP 方法，利用合成数据从 AlexaTM 20B 中挖掘出更多的数据，用以改善低资源的语义解析，实现在多国语言上的有效应用。
semantic parsingtraining datamultilingual settingslarge language modelsclasp
发现论文，激发创造
  • XSemPLR: 跨语义语言分析和意义表示

    XSemPLR 是一个统一的基准系统，用于跨越 22 种自然语言和 8 种意义形式的跨语言语义分析研究，使用多种变量和模型进行评估，其中编码器 - 解码器模型（如 mT5）显示出最高性能。

    Jun, 2023

  • SSP：自监督提示用于使用大型语言模型进行低资源语言的跨语言转移

    在这项研究中，我们探讨了在语言资源有限情况下，特别是零标记的跨语言转移（0-CLT）环境下，基于自我监督提示（SSP）的大型语言模型（LLM）在自然语言处理（NLP）任务中的效果，并通过实验证明 SSP 在这个设置中优于现有的基线模型。

    Jun, 2024

  • 使用大语言模型引导多语言语义分析器

    使用大型语言模型通过少量提示将英文数据集转化为多种语言，以实现多语言语义解析，并在两个公共数据集上与传统的翻译 - 训练方法进行比较，表明使用 LLM 更有效。

    Oct, 2022

  • 大型视觉语言模型的少样本自适应研究

    通过引入适应真实场景需求的新方法，我们综合评估了一个广泛的数据集和场景，发现其在实践中始终优于现有技术，同时作为更高效的替代方案。

    Dec, 2023

  • 受限语言模型实现少样本语义分析器

    利用大型预处理语言模型作为少型语义解析器，将输入 paraphrase 成类似英语的控制子语言，通过很少的数据和代码快速批量生成语义解析器，表现出令人惊讶的有效性，远超过基线方法。

    Apr, 2021

  • BenchCLAMP：语义解析语言模型评估基准

    引入 BenchCLAMP，这是一种用于评估受限语言模型解析的基准测试，可通过提示或经过微调的语言模型的受限解码生成基于输入文本分析的语义输出。在 BenchCLAMP 中，为六个语义解析数据集提供了上下文无关文法，支持低、中、高三种资源分割，并提供了易于使用的工具包，以便语言模型开发人员进行语义分析评估。

    Jun, 2022

  • GeMQuAD：使用少量示例学习从大型语言模型中生成多语言问答数据集

    通过使用 In-Context Learning (ICL) 与 GeMQuAD 半监督学习方法，本研究旨在利用 Large Language Models (LLMs) 生成的数据优化模型表现，特别适用于低资源多语言环境下的提取性问答任务，与传统的机器翻译增强模型相比，此方法在多语言数据集上获得了更佳的 F1/EM 表现。

    Apr, 2024

  • CLAP：从自然语言监督中学习音频概念

    提出一种基于自然语言监督学习的音频概念学习方法 CLAP，通过两个编码器和对比学习将音频和文本描述连接到多模态空间中，从而实现了零样本性能，其具有无需使用类别标签进行训练、预测灵活度高、具有多个下游任务通用性等优点。

    Jun, 2022

  • 跨语言结构提取的上下文标签投影

    通过使用 CLAP 方法，首先将文本翻译成目标语言，并使用翻译后的文本作为上下文对标签进行语境翻译，从而提高了翻译标签的准确性。在事件论证提取等结构提取任务上，CLAP 相较于其他方法在中文和阿拉伯语 ACE05 数据集上提高了 2-2.5 个 F1 分数。

    Sep, 2023

  • S-CLIP: 使用少量特定字幕的半监督视觉 - 语言预训练

    提出了一种半监督学习方法 S-CLIP，利用额外的非配对图像数据为基于对比学习的语言图像预训练模型 CLIP 训练，采用两个伪标签策略，分别针对对比学习和语言模态，能够显著增强 CLIP 的训练，取得了在遥感、时尚、科学图像和漫画等多个领域中的令人瞩目的表现。

    May, 2023