Feb, 2023

带有提示计划和知识记忆的少样本数据表格转文本生成

PDF
TL;DR本论文提出 PromptMize 框架，通过 prompt signal 和 knowledge adapter 对 pre-trained language models 进行 few-shot table-to-text generation。实验结果表明较之前的方法有极大优势。
pre-trained language modelsfew-shot learningtable-to-text generationprompt signalknowledge adapter
发现论文，激发创造
  • 基于提示的少样本表格文本生成适配器

    本文介绍了一种基于 Prompt-based Adapter (PA) 的方法，通过注入 prompt 模板对特定领域的知识和表格相关的表示进行数据增强，从而在少量样本情况下实现表格到文本的生成任务。相比之前的方法，在 Humans、Books 和 Songs 等三个数据集上，此方法表现更好。

    Feb, 2023

  • 控制前缀的少样本表格转文本生成器

    本文提出了一种前缀控制生成器 (Prefix-Controlled Generator) 的方法，应用于神经表格文本生成中的少样本学习问题，该方法使用预训练语言模型，并在输入处加入特定前缀以更好地适应表格结构，同时通过输入特定前缀控制生成的文本的内容和单词顺序，基于 Wikibio 数据集的人类、书籍和歌曲等不同领域的自动和人工评估结果均表明，该方法相对于基线方法取得了实质性的改进。

    Aug, 2022

  • 低资源语言中大型语言模型的少样本跨语言迁移

    将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法，优于翻译和 LAFT，并在所有任务和语言上表现最佳。

    Mar, 2024

  • STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

    提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

    Oct, 2022

  • 预训练语言模型中的知识激发对自然语言理解的影响

    本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

    Oct, 2022

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 表格数据任务的自动提示生成系统

    通过创新自动生成系统，本文提出了两种新方法：一种基于强化学习的算法用于识别和排序与任务相关的列，另一种基于单元格相似性的方法用于增强少样例选择，该方法在 66 个数据集上经过了广泛测试，并使用两个不同的大型语言模型（Google flan-t5-xxl 和 Mixtral 8x7B）在数据填充、错误检测和实体匹配三个下游任务中展现出改进的性能。

    May, 2024

  • 原型记忆的少样本表格到文本生成

    提出了新的框架：Prototype-to-Generate（P2G），旨在通过使用检索的原型来提高神经表生成文本模型在少样本场景下的性能，并利用 IR 系统和新型原型选择器共同选择原型以帮助模型弥合表格和文本之间的结构差距。在三个基准数据集上进行的实验结果表明，该文所提出的框架显著提高了各种评估指标的模型性能。

    Aug, 2021

  • 基于预训练语言模型的少样本知识图谱到文本生成

    本文研究如何利用预训练语言模型生成自然语言文本，以便描述知识图谱中的事实，并提出了三项技术创新，包括：语义对齐、关系倾向知识图谱线性化和多任务学习。大量实验证明，我们的模型在 KG-to-text 生成任务中有效性较高，特别在 few-shot 设置下更是优于所有比较方法。

    Jun, 2021

  • 预训练语言模型用于简短文本自然语言生成

    该文提出了少样本自然语言生成（Few-shot natural language generation）任务，设计了基于内容选择和语言建模的模型架构，表现良好。

    Apr, 2019