Dec, 2023

YAYI-UIE: 通用信息抽取的增强对话指导调优框架

PDF
TL;DR我们在这篇论文中提出了一种面向普适信息提取的端到端聊天增强指导调优框架（YAYI-UIE），旨在提高中英文信息提取性能，实验结果表明，我们的框架在中文数据集上取得了最先进的性能，同时在英文数据集上在监督和零样本设置下也获得了可比的性能。
information extractionlanguage modelschinese languagesend-to-end chat-enhanced instruction tuning frameworkstate-of-the-art performance
发现论文，激发创造
  • ChatUIE：基于大型语言模型的基于聊天的统一信息提取探索

    本文介绍了 ChatUIE，这是一个基于 ChatGLM 构建的创新统一信息提取框架，使用强化学习来改进和使各种任务相一致，同时还整合了生成约束来解决输入中不存在元素的问题，实验证明 ChatUIE 可以显著提高信息提取的性能，稍微降低了聊天能力。

    Mar, 2024

  • InstructUIE: 统一信息抽取的多任务指令调整

    该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

    Apr, 2023

  • 通用信息提取的统一结构生成

    本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

    Mar, 2022

  • UMIE: 统一多模态信息提取与指导调整

    多模态信息提取通过指令调整以解决当前面临的任务特定模型结构的持续问题，提供了一个统一的多模态信息提取器 UMIE，能够有效地提取文本和视觉提及，并在六个多模态信息提取数据集上的三个任务中在零样本模型、指令变体和可解释性方面都表现出强大的泛化能力。

    Jan, 2024

  • Yi：01.AI 的开放基础模型

    我们介绍了 Yi 模型系列，这是一系列展现出强大多维能力的语言和多模态模型。我们的基础模型在 MMLU 等多个基准测试中取得了强大的性能，我们的微调聊天模型在 AlpacaEval 和 Chatbot Arena 等主要评估平台上展现了强大的人类偏好率。在可扩展的超级计算基础设施和经典的 Transformer 架构的基础上，我们主要归因于 Yi 模型的性能是由于数据质量，这是我们数据工程努力的结果。我们相信，通过彻底优化数据并进一步扩大模型参数规模，将会产生更强大的前沿模型。

    Mar, 2024

  • RexUIE: 一种显式模式递归方法的通用信息抽取方法

    本文提出了 UIE 的新定义和 RexUIE 方法，通过正式的公式化概括了几乎所有提取模式，并且在重置位置 ID 和注意力掩码矩阵后，能够在全量数据和少量数据的情形下取得最先进的成果。

    Apr, 2023

  • LasUIE：使用潜在的自适应结构感知生成语言模型统一信息抽取

    本研究旨在通过利用句法结构信息，提出一种新颖的结构感知生成式语言模型，对各种信息提取任务进行统一的建模与预测，并且通过引入异构结构感知器和任务导向的结构微调机制来实现更好的指导解码，从而显著提高了 12 项信息提取任务的性能。

    Apr, 2023

  • YAYI 2：多语种开源大型语言模型

    我们提出了 YAYI 2，这是一个具有 300 亿参数的基础模型和聊天模型的多语言模型，通过多个基准测试表明比其他类似规模的开源模型表现更好。

    Dec, 2023

  • 检索增强的通用信息提取代码生成

    Code4UIE 是基于 LLMs 的一种通用检索增强代码生成框架，针对信息抽取任务。它采用 Python 类来以通用方式定义各种结构化知识的任务特定模式，并且利用上下文学习机制指导 LLMs 生成恰当的代码，以从文本中提取知识。Code4UIE 通过多种示例检索策略探索语义上与给定文本相似的示例，通过五个代表性的信息抽取任务在九个数据集上的广泛实验验证了该框架的有效性。

    Nov, 2023

  • UniEX: 基于跨度提取视角的统一信息抽取的有效高效框架

    提出新的泛信息提取范式 UniEX，可适用于多种信息提取任务，利用自编码语言模型学习通用知识，并通过自设计的 traffine attention 机制在 14 项基准测试数据集上取得了领先的结果。

    May, 2023