本文提出了一种自动估计表格数据特征间关系的图估算器，根据所建立的关系图组织各独立特征并实现节点间的有序交互，进而进行表格学习。结合该方法，我们提出了一种基于 Transformer 网络的 T2G-Former，能够在不同层次上收集 T2G-Former 中的显著特征并加以综合，实现对表格数据进行有效处理和预测，进而取得了优异的表现。

Nov, 2022

通过引入交互张量来分析数据和模型的特征交互，我们提出了特征学习的概念框架，并在其基础上推导了一些理论结果，包括解释广义推广误差相等性等现象的理论构建，从而增进我们对特征学习的理解。

Jun, 2023

借助基于 Transformer 的体系结构和注意力层，自动捕捉特征交互，并通过引入异构自注意层和 extsc {Hiformer} 模型在工业中应用，解决了将 Transformer 体系结构应用于网络规模推荐系统的挑战，证实了 extsc {Hiformer} 模型在关键参与度指标上的显著改善。

Nov, 2023

在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

Jul, 2023

本文提出了多种改进的 TabTransformer 模型，其中包含注意力机制和多种激活函数以及线性投影，针对三个数据集的二分类任务取得了超过 1% 的 AUROC 收益。此外，我们还评估了训练过程中特定超参数的重要性。

Jan, 2022

本研究针对数值特征在计算表格数据方面的表现，提出在深度学习中使用数值特征嵌入提升性能的方法，并重点研究两种不同的嵌入方式，并实现了嵌入在简单 MLP-like 模型与 attention-based 结构中的对比性能提升。

Mar, 2022

本文提出了一种基于神经注意力网络的模型，命名为注意力分解机，该模型通过区分不同特征交互的重要性，通过学习数据来改进了因同等加权造成的效率下降的因素分解机，实验证明改进后的注意力分解机在回归任务中相对于因素分解机有 8.6% 的相对改善，而且在结构更简单、模型参数更少的情况下一致优于最先进的深度学习方法 Wide&Deep 和 DeepCross。

Aug, 2017

本文提出一种基于通用 Transformer 的深度学习模型，通过发现高效的算数程序，利用外部的网格状记忆进行多位数的加法计算，并且发掘了人类类似的计算策略，如位值对齐。

Jul, 2022

提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。

Mar, 2022

本文提出了一种 Transformer 架构以表示混杂的时间依赖型表格数据，其中数值特征使用一组频函数表示，并且整个网络使用唯一的损失函数均匀训练。

Feb, 2023