Code4UIE 是基于 LLMs 的一种通用检索增强代码生成框架，针对信息抽取任务。它采用 Python 类来以通用方式定义各种结构化知识的任务特定模式，并且利用上下文学习机制指导 LLMs 生成恰当的代码，以从文本中提取知识。Code4UIE 通过多种示例检索策略探索语义上与给定文本相似的示例，通过五个代表性的信息抽取任务在九个数据集上的广泛实验验证了该框架的有效性。

Nov, 2023

本文提出利用 Code-LLMs 如 Codex 代替 NL-LLMs，通过设计以代码为形式的提示和将 IE 任务制定为代码生成任务，有效地解决了信息提取任务的难题，并在七个基准测试中显示其优越性。

May, 2023

通过引入中间表示形式 UniCode，用大型语言模型 UniCoder 生成编码，显著提高了生成代码的质量并超越了以往的提示方法。

Jun, 2024

提出了一种名为 AutoKnow 的新型两步流程，将 LLMs 作为知识提供者和自我反思程序员，通过从输入提示中获得知识并根据生成的知识生成中间代码，并存在解释器中接收错误消息，从而使 LLMs 成为专业编程人员，从而成功完成编程，有效提高了二者的表现。

Jun, 2023

本文提出了一种名为 UIE 的统一文本到结构生成框架，可通用地模拟不同的信息提取任务，通过基于模式的指示器机制自适应生成目标结构，并通过大规模的预训练文本到结构模型捕捉共同的信息提取能力。实验结果显示，UIE 在四个 IE 任务、13 个数据集和不同的实验条件下实现了最先进的性能，验证了其有效性、通用性和可迁移性。

Mar, 2022

本研究旨在通过利用句法结构信息，提出一种新颖的结构感知生成式语言模型，对各种信息提取任务进行统一的建模与预测，并且通过引入异构结构感知器和任务导向的结构微调机制来实现更好的指导解码，从而显著提高了 12 项信息提取任务的性能。

Apr, 2023

本文介绍了 WizardCoder，它利用 Evol-Instruct 方法将复杂的指令微调应用于代码领域，通过对四个主要的代码生成基准进行全面实验，揭示了该模型的出色能力，并超越了所有其他开源 Code LLMs，甚至在 HumanEval 和 HumanEval + 上表现出秀。

Jun, 2023

通过代码语言模型生成三元组以构建语义结构明确的知识图谱，并使用增强理由生成法提高知识提取能力，实验结果表明该方法在基准数据集上取得优异表现。

Apr, 2023

该论文提出了一种新的策略，通过连接静态代码文本和动态执行状态，训练具有全面语义的 Code LLMs，从而填补 Code LLMs 在诸如调试和程序修复等复杂任务中对深层语义的依赖的差距。该方法通过收集 PyX，一个具有可执行样本、功能描述和执行跟踪的干净代码语料库，训练 Code LLMs 使用自然语言编写代码、表示和推理执行行为，从而开发出了仅有 67 亿参数的 SemCoder，该模型在代码生成和执行推理任务上与 GPT-3.5-turbo 表现相当。

Jun, 2024

我们介绍了知识导航本体（知识世界导航本体），这是第一个旨在捕捉日常知识以增强大型语言模型（LLM）在个人 AI 助手等实际生成 AI 应用场景中使用的本体。我们的领域是人类生活，包括日常关注和重要里程碑。我们仅模拟既定的人类普遍性概念：时空（地点、事件）和社交（人员、群体、组织）。模拟概念的包含标准是实用主义的，从普遍性和实用性开始。我们比较并对比了先前的工作，比如 Schema.org 和 Cyc，以及知识图谱和语言模型的综合尝试，指出 LLM 已经在内部编码了花费数十年时间才在 Cyc 项目中捕捉到的常识性知识。我们还提供了用于 12 种最流行编程语言的由代码生成的软件库，以便在软件工程中直接使用本体概念。我们强调简单性和开发者体验，以促进人工智能的互操作性。

May, 2024