使用增强学习方法构建多个元树以提高预测性能，防止过度深化的树引起过拟合的问题，并通过实验与单个决策树的集合进行性能比较。

Feb, 2024

本文研究了通过 Meta-learning 或者说 Learning-to-learn 的方式来训练黑盒子模型成为通用的上下文学习算法，同时发现相比于标准模型，黑盒子模型训练时的瓶颈不是参数数量而是可以访问的状态大小。此外，本文提出了一些实际操作手段，如改变训练集分布来改善通用学习算法的 Meta-training 和 Meta-generalization。

Dec, 2022

通过模型学习和在线计划，基于 Transformer 架构的模型算法在元强化学习问题的符号 Alchemy 环境中展示出比先前应用的基于模型无关的强化学习方法更好的性能，揭示了基于模型的方法在元学习的探索和利用方面的相关性和变现出复杂动态的 Transformer 架构的效率。

Aug, 2022

Hierarchical Transformers for Meta-Reinforcement Learning (HTrMRL) is an online meta-reinforcement learning approach that improves learning efficiency and generalization capabilities, outperforming the previous state-of-the-art algorithm in various tasks.

Feb, 2024

本研究提出了一种基于动态规划和搜索的学习算法来实现最优决策树，这种算法支持对树的深度和节点数量设置限制，并在实验证明使用我们的算法只需要很短的时间就可以处理具有成千上万个实例的数据集，从而极大地提高了最优决策树的实用性。

Jul, 2020

本文提出一种新颖的演化算法，结合可行解空间的探索和局部搜索，用于归纳分类树，以达到具有一般化能力的结构，其表现与最先进的方法相当，并适用于包含成千上万数据点的数据集。

May, 2023

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

通过对大规模的实证研究，本文发现神经网络在结构化表格数据上与决策树具有竞争力，而基于变压器的架构在表格数据集上并不能超过传统 MLP 架构的简化版本。这些发现有助于研究和实践社区在未来的表格数据应用中做出明智的选择。

Feb, 2024

提出了一种基于大型语言模型（LLMs）的新的表格学习框架，称为优化列特征生成器与决策树推理（OCTree）。使用 LLMs 的推理能力，通过不手动指定搜索空间并提供基于语言的推理信息，将过去的实验作为反馈来改进迭代的规则，从而找到好的特征生成规则。实证结果表明，这一简单框架在各种表格基准上始终提高了各种预测模型的性能，优于竞争的自动特征工程方法。

Jun, 2024

本研究提出了 Deep Neural Decision Trees（DNDT）—— 由神经网络实现的树模型，可以用于处理表格数据，DNDT 具有自解释性和自剪枝功能。

Jun, 2018