通过 GraphToken 方法，我们能够以参数有效的方式在大型语言模型中显式表示结构化数据，并在图推理任务中显著提升性能。

Feb, 2024

本文研究使用预训练 transformers 处理线性化的图输入，并探讨其编码局部图结构的能力和使用图去噪目标增强编码的解决方案对于在低资源环境下提高下游生成的效果。

Dec, 2020

基于 transformer 语言模型的研究中，发现存在一种简单而可解释的、但在各种情况下应用不一的知识表示策略，其主要通过关系、线性变换以及预测表达出来。

Aug, 2023

通过对图结构数据进行编码，探究大型语言模型中图推理任务的性能提升，展示了编码器选择对图推理任务的影响，以及正确选择编码器能够提升性能的洞见。

Oct, 2023

高层语义概念在大型语言模型的表示空间中按线性方式编码；本研究通过引入简单的潜在变量模型来研究这种线性表示的起源，并证明了下一个标记预测目标和梯度下降的隐式偏差共同促进了概念的线性表示。

Mar, 2024

该研究关注语言解析到 SQL 的过程，并提出了一种使用图神经网络对数据库模式进行编码的方法，在 Spider 数据集上得到了较高的解析准确率。

May, 2019

本文提出了一种简单有效的方法，即在输入到大型语言模型之前添加前缀和后缀指令，以指示所需的信息提取任务和结构类型，以从文本中提取各种结构。通过在两个大型语言模型上进行实验，结果表明该方法能够在各种语言和知识的数据集上执行效果与其他现有的最先进方法相当，并且可以通过更改指令的内容来应用于其他信息提取子任务。此外，该方法还能够帮助研究人员在低资源和特定领域的情况下构建数据集，例如金融和法律领域，成本较低。

Mar, 2023

DictLLM 是一个创新的框架，用于改进键值结构化数据的建模，如医学实验室报告，以生成医学诊断。通过实验验证，DictLLM 在自动诊断生成方面显著优于基准方法和少样本 GPT-4 实现，同时在 Rouge-L 和知识 F1 得分方面表现出色，从而准确地对医学词典数据的复杂键值数据结构进行建模。

Feb, 2024

通过对大型语言模型的研究，揭示了它们在解释和推理表格数据方面的能力，发现表格结构变化对模型性能的影响，提出了表格结构归一化的方法，并且比较了文本推理和符号推理，同时通过多个推理路径的聚合，取得了在 WIKITABLEQUESTIONS 任务上的最新成果。

Dec, 2023

研究了如何将复杂的文本到 SQL 任务分解为较小的子任务，从而显著提高大型语言模型（LLMs）在推理过程中的性能，证明了将 SQL 查询分解为子问题并将这些子问题的解决方案提供给 LLMs 可以显著提高性能。在三个 LLMs 上的实验表明，此方法始终将性能提高约 10％，推动 LLMs 的准确性接近最先进水平，甚至超过用于持有 Spider 数据集的大型精调模型。

Apr, 2023