该研究使用基于关系感知自注意机制的统一框架，解决将自然语言问题转换为 SQL 查询中出现的通用性问题，包括编码数据库关系，建立数据库列和查询的链接，以及特征表示。在 Spider 数据集上，该框架将的精确匹配准确度提高到 57.2％，优于其最好的对手 8.7％的绝对改进，并在 BERT 的支持下，实现了 65.6％的性能，成为了新的最佳表现，同时也在模型对数据库链接和对齐的理解方面得到了定性改善。

Nov, 2019

本研究旨在建立 DuoRAT 作为对最新的 RAT-SQL 模型的重新实现，验证其在使用关系感知或普通变换器作为构建块的情况下的有效性，并通过消融实验来确认一些技术的有用性以及结构化 SQL 功能和在问题与架构之间建立联系的冗余特征。

Oct, 2020

通过使用自我关联，让编码器理解表格和列之间的关系，以及将该信息使用在问题的解释过程中，使得神经编码器 - 解码器系统能够在 SQL 查询的实现上具有较好的泛化性，从而在 Spider 数据集上获得 42.94% 的精确匹配准确率。

Jun, 2019

本文提出了一种新的文档级事件抽取框架 ReDEE，该框架可以建模关系依赖性并采用了多任务学习方法来提高事件抽取的性能。实验证明，该方法在两个公共数据集上均可达到最先进的性能水平。

Jun, 2022

提出了一种可以利用 KG 丰富的关系信息和 LM 之间有限的交互方式，联合处理自然语言和图表信息的方法，并通过 CommonsenseQA 和 OpenBookQA 等数据集的验证，在所有数据集上都取得了最先进的性能。

Dec, 2022

该研究提出了一种基于变换器的关系感知内核自注意力机制（RKSA），它采用了变换器的自注意力机制，并加入了概率模型和潜空间，从而将变换器的自注意力与连续推荐相结合，实现了推荐上下文的建模与个性化推荐。

Nov, 2019

该研究提出了一个名为 TSAT 的多元时间序列表示学习方法，使用动态图来表示时间信息和各变量间的相互关系，并将其应用于时间序列预测问题，实验证明 TSAT 的预测性能显著优于六种先进方法。

Aug, 2022

该篇论文分析了语义解析 (seq2seq) 面临的挑战，如预测语义信息和处理自然语言查询和 SQL 之间的语义连贯性，并提出一种名为 SR 的解码策略，包括一种新的中间表示 (SSQL) 和用于解决这些难题的得分再评估的 reranking 方法。实验证明，该方法在 Spider 数据集上取得了最新的最先进的结果 (T5-SR-3b)。

Jun, 2023

本文提出了一种技术，使长文本序列可以通过 transformers 处理，这对于自然语言到 SQL 查询的翻译非常有用，该技术包括训练过程、数据库架构修剪和多语言方法。

Jun, 2023

我们提出了一种名为 R-SQAIR 的增强型多对象关注模型，它通过加入并行计算推断对象之间的成对交互的模块，赋予了强有力的关系归纳偏置，并在视频的无监督学习任务中对比了两个最近提出的关系模块，表现出优于序列关系机制的性能，而且在组合泛化方面也表现出优越性。

Oct, 2019