基于树模型的注意机制结合与 (tabular data) 表格数据在 (gradient boosting) 梯度提升训练环境中学习，被证明在多个领域与包含树模型和神经网络模型的现有技术相比具有竞争力。

Feb, 2024

利用不同性能度量评估线性回归、随机森林、XGBoost、LightGBM 和 MLP 神经网络五种模型在美国佐治亚州预测 pH 值方面的效果，表明 LightGBM 具有最高的平均精度，树模型在回归问题中具有卓越性能，MLP 神经网络的性能对特征缩放敏感，并解释了机器学习模型相对原研究的提升原因，以建立适用于实际应用的强大预测流程，既适合数据科学领域专业人士，也适用于缺乏特定应用领域专业知识的人群，强调预测准确性和可解释性。

Sep, 2023

本研究提出了一种新的、高性能和可解释的深度表格数据学习架构 TabNet，采用顺序注意方法在每个决策步骤中选择推理特征，实现了可解释性和更高效的学习。我们证明，在各种非性能饱和表格数据集上，TabNet 胜过其他神经网络和决策树变体，并提供了可解释的特征归因和对全局模型行为的深入认识。最后，我们首次在表格数据上展示了自监督学习，在未标记的数据丰富情况下显著提高了性能。

Aug, 2019

通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

Feb, 2024

该研究论文介绍了一种利用物理知识驱动的机器学习算法，通过分析压力数据来估计未知的水需求，最终利用伯努利方程并线性化泄漏检测问题。该算法在 L-Town 基准网络的数据上进行了测试，结果显示其在估计大多数不规则需求方面具有较好的能力，R2 大于 0.8；与不考虑不规则需求的结果相比，对于突发泄漏和潜在泄漏情况下的泄漏识别结果分别提高了 5.3 倍和 3.0 倍。

Sep, 2023

该研究论文提出了一种基于图卷积循环神经网络和注意机制的时空预测模型 TransGlow，用于水量的水文预测与预测建模，通过对水系统的动态性和有限数据进行建模，实验结果表明该模型在水文应用领域取得了显著的优势。

Dec, 2023

本文提出了一种基于图神经网络的模块化框架，结合注意力机制在风力发电中对功率产量进行预测。结果表明，该模型明显优于多层感知机和双向 LSTM 模型，同时其性能与传统的图神经网络模型相当；同时，该框架可以根据需求进行灵活调整，提高了自适应能力。通过注意力权重的分析，表明该框架可以在风力发电数据分析中提供洞察力，特别是注意力网络可以意识到相邻涡轮之间的依赖以及与唤醒损失有关的物理直觉。

Jan, 2022

HyperTab 是一种基于超网络的方法，用于在表格数据集上处理小样本问题，将随机森林和神经网络的优势相结合，同时生成神经网络集合，每个目标模型专门处理数据的特定低维视图。

Apr, 2023

通过对注意力机制进行研究并将其建模为从 Gumbel-Softmax 分布中采样的潜在变量，我们提出了 InterpreTabNet，该模型通过 KL 散度正则化实现了注意力掩码中不同概念的学习，从而改善了预测结果的解释性和预测关键要素的确定性，并结合大型语言模型和提示工程方法来帮助解释我们模型中特征之间的相互依赖关系。在真实数据集上的综合实验表明，InterpreTabNet 在解释表格数据方面优于先前的方法，并同时保持了较高的准确性。

Jun, 2024

本文研究了结合循环和注意力的方法是否能够提高水文预测的精度并将 Temporal Fusion Transformer (TFT) 模型应用于水文学领域。在 2600 个以上的全球分布的集水区的实验表明，TFT 模型的表现超过了 LSTM 和 Transformers 模型，并可帮助获得流域产流过程的更多见解。

May, 2023