May, 2023

如何释放大型语言模型在少样本关系提取上的能力？

PDF
TL;DR本文研究使用大语言模型的 few-shot 关系抽取的方法，着重考察了上下文学习和数据生成技术，并通过实验发现，与之前的提示学习方法相比，上下文学习方法可以获得与之类似的效果，而大语言模型的数据生成方法可以帮助基于先前解决方法获得一些状态 - of-art 的结果。
scaling language modelsfew-shot relation extractiongpt-3.5in-context learningdata generation
发现论文，激发创造
  • 基于预训练语言模型的上下文小样本关系抽取

    通过预训练的语言模型，我们提出了一种新颖的在上下文中进行少样本关系抽取的框架，该框架可以消除命名实体识别和人工注释文档的需要，并实现了与现有方法相比最先进的性能。

    Oct, 2023

  • 大语言模型时代下关系抽取的再审视

    本文探讨了利用 GPT-3 和 Flan-T5 等大型语言模型来进行关系提取（RE）的问题，通过将关系线性化生成目标字符串的方法进行了序列到序列的任务处理，通过人工评估的方式，在不同程度的监督下评估了它们在标准 RE 任务中的表现，发现通过 GPT-3 进行的少量提示与现有完全监督模型大致相当，而使用 Chain-of-Thought 风格的解释进一步监督和微调后，该模型产生了最优结果。

    May, 2023

  • 语言模型是少样本学习器

    在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

    May, 2020

  • 优化大型语言模型的召回率：基于模型协作的关系三元组抽取方法

    本论文设计了一种评估过滤框架，将大型语言模型与小型模型整合在一起，用于处理关系三元组提取任务，以获得更准确的提取结果。评估模型能够高精度提取相关实体对，并通过简单的标注原则和深度神经网络对模型进行嵌入，将输出作为提示加入到大型模型的提取过程中。通过大量实验证明，该方法可以帮助大型语言模型从含有多个关系三元组的复杂句子中获得更准确的提取结果，同时也能够嵌入传统提取模型以提高其从复杂句子中的提取准确率。

    Apr, 2024

  • 基于预训练大型语言模型的超关系知识图谱构建

    使用基于 OpenAI 的 GPT-3.5 模型的零样本提示方法，从文本中提取超关系知识。与基准线进行比较，取得了有希望的结果，召回率为 0.77。尽管精确性目前较低，模型输出的详细分析揭示了未来研究领域的潜在路径。

    Mar, 2024

  • 大型语言模型是少样本临床信息提取器

    本文研究了如何使用大型语言模型在缺乏公共医疗语料库和注释的情况下，零和少样本学习从临床文本中提取信息，包括跨度识别、令牌级序列分类和关系提取。通过引入新的 CAS 数据集并进行手动再注释，GPT-3 系统在这些任务上明显优于现有的零和少样本基线。

    May, 2022

  • 使用预先训练的 Transformer 语言模型对远程监督关系提取进行微调

    本文介绍了利用预训练语言模型 GPT 进行远程监督关系抽取，通过 fine-tuning 在 NYT10 数据集上实现了更多种类关系的高准确率预测，AUC 分数达到了 0.422，并且在高召回率水平下表现尤为出色。

    Jun, 2019

  • 把握要点：为零 shot 关系抽取量身定制大型语言模型

    通过使用语言模型生成初始种子实例并结合反馈进行改进，在关系抽取任务中实现零样本学习，取得了较基准方法更好的性能。

    Feb, 2024

  • GPT-RE：利用大型语言模型进行关系抽取的上下文学习

    本研究介绍了 GPT-RE，这是一种解决大型语言模型在关系提取中局限性的方法，包括任务特定实体表现的使用和黄金标签引导推理逻辑的使用。该方法在四个数据集上的实验结果表明其超过了 GPT-3 基线并且在 Semeval 和 SciERC 数据集上实现了 SOTA 表现。

    May, 2023

  • 利用大型语言模型进行少样本非语境化

    通过一个大型语言模型，我们提出了一种使用少数样例的去语境化方法，并展示了该方法在多个领域上仅仅使用一小组示例就可以取得可行的性能表现。

    Oct, 2023