PSG: 基于提示的序列生成用于缩略语提取
使用多种不同方法(上下文语言模型和卷积神经网络)提取缩写及其相应的长格式,通过向官方训练数据集添加额外的训练数据样本以帮助提高任务性能,在测试数据上实现了良好的宏 F1 分数。
Jan, 2022
本文提出了自动提示方法 AutoSeq,它采用自然语言提示,建议标签序列,使用集束搜索自动生成大量标签序列候选项并提出对比排序以获得最佳组合,从而在少数示例下学习方面显示了序列到序列模型的潜力,并为通用和自动提示开辟了一条道路。
Sep, 2022
利用大型语言模型,提出了一种名为 Vision-Language Prompting (VLPrompt) 的模型,通过结合图像和语言信息,通过基于注意机制的提示网络实现精确的关系预测;实验证明,VLPrompt 显著优于现有 PSG 数据集上的最先进方法,证明了整合语言信息和缓解关系的长尾问题的有效性。
Nov, 2023
通过新颖的软提示体系结构和提示预训练加微调范式,研究了少样本主动式摘要生成的挑战性任务,使得模型仅调整了极少数的参数。结果显示,与调整所有模型参数的完全模型调优相比,我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好,同时也超过了大规模加提示的 Prompt Tuning,并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。
Apr, 2022
本文提出一种基于提示的文本生成方法(PTG),采用预训练语言模型,在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务,设计了一个自适应注意机制以得出目标提示,实验结果表明 PTG 针对多个任务产生了有竞争力的结果,源提示已开放并可用于未来研究。
May, 2022
该研究介绍了一个新的提高医学图像识别性能的方法,利用预训练视觉 - 语言模型和伪提示生成来实现多标签分类和自动诊断,对比实验证明了其在多标签胸部放射图数据集上的卓越性能。
May, 2024
本论文介绍了我们参加多语言首字母缩略词提取共享任务 SDU@AAAI-22 的发现。我们采用双向长短时记忆网络链条件随机场(BiLSTM-CRF)和多语言 XLM-RoBERTa 嵌入来处理多语言首字母缩略词提取。我们预训练了 XLM-RoBERTa 模型,以进一步适应共享任务的领域。我们的系统(团队:SMR-NLP)在所有语言的首字母缩略词提取方面都取得了竞争性的性能表现。
Jun, 2022
利用基于提示的技术生成描述性和推理性问题是一个具有挑战性和耗时的任务。本研究提出了一种新方法,利用基于提示的技术生成描述性和推理性问题。我们通过精选的 NCERT 教科书的丰富内容,创建了一个名为 EduProbe 的新的问题生成数据集。我们针对此数据集调查了几种基于提示的问题生成方法,并使用预训练的大型语言模型进行了微调。通过自动评估,我们发现 T5(使用长提示)表现优于其他模型,但仍然低于人类基准。在人类评估标准下,TextDavinci-003 通常在各种提示设置下表现更好。即使在人类评估标准下,问题生成模型也大多低于人类基准。
Dec, 2023
通过利用预训练模型和实例相关提示,本文提出生成多样且高质量的复述词句的方法,使用向量量化的提示来控制预训练模型的生成。实验表明此方法在三个基准数据集上取得了最新的最佳结果,包括 Quora、Wikianswers 和 MSCOCO。一旦被接受,我们将公开所有代码。
Nov, 2023