基于提示词的几何抽取方法在简历信息提取中的应用

Sep, 2022

基于提示词的几何抽取方法在简历信息提取中的应用

A Few-shot Approach to Resume Information Extraction via Prompts

Chengguang Gan, Tatsunori Mori

TL;DR本文介绍了一种应用 Prompt learning 到简历信息提取的方法，其中使用了 MLM 和 Seq2Seq PLMs，以及 Manual Knowledgeable Verbalizer (MKV)，并探讨了在应用场景下设计 Prompt templates 和 verbalizer 的规则。实验证明，基于这些规则设计出来的模板和 verbalizer 比现有的手动模板和自动生成的提示方法更有效和更具鲁棒性，同时 MKV 显著解决了样本不平衡问题。

Abstract

prompt learning has been shown to achieve near-Fine-tune performance in most text classification tasks with very few training examples. It is advantageous for NLP tasks where samples are scarce. In this paper, we attempt to apply it to a practical scenario, i.e →

prompt learning resume information extraction mlm pre-training language models seq2seq plms manual knowledgeable verbalizer

发现论文，激发创造

知识化提示微调：将知识融入文本分类的提示语生成器

本文关注于将外部知识融入语言模型的提示操作，形成知识型提示微调，以提高和稳定性能，实验证明其在评论分类任务中有效。

Aug, 2021

AutoPrompt: 使用自动生成的提示从语言模型中引导知识

利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

Oct, 2020

基于语言模型的半监督学习的可扩展提示生成

本文提出两种自动设计多种提示并集成自动 verbalizer 的 SSL 方法，其中第一种通过可学习的持续提示令牌使用各种演示示例生成多样化的提示模型，第二种使用不同数量的软提示令牌鼓励语言模型学习不同的提示。通过使用原型 verbalizer 替换手动 verbalizer，在不同的少样本学习设置中获得了最好的平均准确率（73.2％，相对于先前使用手动提示和 verbalizer 的最新 SSL 方法的相对提高 2.52％）。

Feb, 2023

从预训练语言模型中引发知识，以实现典型提示语言生成

本研究探讨了如何从预训练语言模型中提取知识，提出了一种基于原型的提示语言生成器，以优化模型并实现有效的零样本和少样本分类。

Jan, 2022

预训练语言模型中的知识激发对自然语言理解的影响

本研究提出了知识提示范式和基于知识提示的 Pre-trained 语言模型 KP-PLM 框架，该框架通过多种连续提示规则将知识子图转化为自然语言提示，并在这些提示的基础上提出了两个新的知识感知无监督任务，实验证明了 KP-PLM 在多个自然语言理解任务中的优越性。

Oct, 2022

元学习和代表性语音化实现有效结构化提示

本文提出了 MetaPrompter，它使用元学习和软标记器来共同构建任务特定的提示。MetaPrompter 相对于最近的最佳方法表现更好，而 RepVerb 则优于现有的软标记器。

Jun, 2023

通过多语言语言教师软提示提升跨语言自然语言推理

本文提出一种基于 SoftMV 框架与 Multilingual Verbalizer 的跨语种自然语言推理方法，通过生成软提示的填空式问题和使用双语词典，将原问题与扩增多语言问题的表示对齐到相同的语义空间中，并通过一致性正则化实现在 XNLI 数据集上的最新性能，特别是在少量样本和全量样本跨语种转移的情况下获得显着优于以前方法的结果。

May, 2023

MetricPrompt: 以 Prompting 模型作为 Few-shot 文本分类的相关性评估度量

本研究提出了 MetricPrompt 方法来解决 few-shot 分类任务的 verbalizer 设计难题，将其转化为文本对相关性评估任务，使用 prompting 模型作为相关性度量，取得了超过手动 verbalizer 和其他自动 verbalizer 设计方法的最新 SOTA 表现。

Jun, 2023

使用无需映射的自动转述器增强基于提示的自我训练对多类别分类的提升

最近，基于提示的微调作为少样本文本分类任务的核心技术引起了相当大的兴趣。本研究引入了一种名为 Mapping-free Automatic Verbalizer (MAV) 的新型高效词汇提取结构，利用 MLM 预测中的所有信息来自动提取分类所需的单词特征，并在五个多类别分类数据集上的实验结果表明了 MAV 的自我训练效果的优越性。

Dec, 2023

STPrompt: 语义引导和任务驱动的提示，用于有效的少样本分类

提出基于任务语义角度构建的语境提示学习模型 STPrompt，其中两种基于语义依存关系树和任务特定元数据描述的新型提示被构建到提示增强池中，能自动选择合适的语义提示来激发提示学习过程，并在五种不同的少样本文本分类数据集上取得了最先进的性能。

Oct, 2022