基于图的双向 Transformer 决策阈值调整算法用于类别不平衡的分子数据

Jun, 2024

基于图的双向 Transformer 决策阈值调整算法用于类别不平衡的分子数据

Graph-Based Bidirectional Transformer Decision Threshold Adjustment Algorithm for Class-Imbalanced Molecular Data

Nicole Hayes, Ekaterina Merkurjev, Guo-Wei Wei

TL;DR提出了一种名为 BTDT-MBO 算法的方法，用于处理高度不均衡的分子数据集上的数据分类问题，该算法通过整合 Merriman-Bence-Osher（MBO）技术和双向转换器，以及距离相关性和决策阈值调整来解决分类算法在不平衡数据集上的性能问题，实验证明该方法表现优于竞争算法，即使类别不平衡比例很高。

Abstract

Data sets with imbalanced class sizes, often where one class size is much smaller than that of others, occur extremely often in various applications, including those with biological foundations, such as drug discovery and disease diagnosis. Thus, it is extremely important to be able to

imbalanced class sizes data classification algorithms btdt-mbo algorithm molecular data sets class imbalance ratio

发现论文，激发创造

训练集之外：一种检测模型优化中分布偏移的直观方法

通过训练二元分类器，我们提出了一种简单的方法来检测分布的变化，从而解决了在模型设计过程中的分布偏移问题，并通过验证其在实际应用中的有效性，证实了此方法可以提高设计的质量。

Nov, 2023

改进不平衡数据集上的 GBDT 性能：一项基于类平衡损失函数的实证研究

本研究首次全面研究了将适应性类平衡损失函数应用于三种 GBDT 算法在不同表格分类任务中，包括二元、多类和多标记分类。通过在多个数据集上进行广泛的实验，评估了类平衡损失对于不同 GBDT 模型的影响，建立了一个有价值的基准。结果表明，类平衡损失函数可以提高 GBDT 在不平衡数据集上的性能，为实际应用中面临类失衡挑战的从业人员提供了一种强大的方法。此外，我们还介绍了一个 Python 包，可以将类平衡损失函数集成到 GBDT 工作流中，使这些先进技术能够更广泛地被使用者获取。

Jul, 2024

类别不平衡节点分类的拓扑增强

该研究针对真实世界的节点分类任务中普遍存在的类别不平衡问题，从节点中心和拓扑结构的角度出发，通过拓扑增强方法解决了类别不平衡的问题，并在促进不平衡节点分类和缓解不同类别之间的预测偏差方面验证了其卓越性能。

Aug, 2023

基于阈值驱动的混合采集策略贝叶斯优化加速材料发现

本文介绍了一种新的阈值驱动的 UCB-EI 贝叶斯优化（TDUE-BO）方法，该方法动态地整合了上置信区间（UCB）和预期改进（EI）获取函数的优势，以优化材料发现过程。通过在顺序采样结果的每个步骤中连续监测模型的不确定性来引导 UCB 到 EI 的切换策略，实现了在高维材料设计空间上的更有效导航，同时确保快速收敛。通过在三个不同的材料数据集上应用 TDUE-BO，证明了它在 RMSE 得分和收敛效率上相对于 EI 和基于 UCB 的 BO 方法具有显著更好的近似和优化性能。

Nov, 2023

重新振兴阈值移动：用于二元和多类不平衡数据的简单插件 Bagging 集成

本文提出了一种名为 PT-bagging 的概率阈值打分组合方法解决了数据挖掘中类别不平衡的问题，并对其进行了验证和分析。

Jun, 2016

利用梯度提升决策树增强 Transformers 在 NLI 微调中的效能

本文探讨了采用 Gradient Boosted Decision Trees 作为分类器的自然语言推断（NLI）任务方法，介绍了 FreeGBDT 方法，该方法可以在不增加神经网络的计算量的情况下，提高对特征的分类精度，实验证明 FreeGBDT 对于多个 NLI 数据集的 RoBERTa-large 基线模型都有稳定的提升。

May, 2021

扩散增强树

融合去噪扩散概率模型和梯度提升方法，引入扩散增强范式以解决监督学习问题。我们开发了扩散增强树（DBT），它可以被视为一种新的去噪扩散生成模型，其参数由决策树（每个扩散时间步长一个单一树）进行参数化，同时也是一种新的提升算法，可以把弱学习器结合成条件分布的强学习器，而不对其密度形式进行显式的参数化假设。通过实验证明了 DBT 相较于基于深度神经网络的扩散模型的优势，以及 DBT 在真实回归任务上的能力，并展示了将 DBT 应用于表格数据（欺诈检测）进行分类学习且具备学习推迟的能力。

Jun, 2024

基于修改的 Aitchison-Aitken 函数的贝叶斯优化和组合扩展决策树的多规则挖掘算法

决策树具有易于解释的优点，因为它们允许根据 if-then 规则对输入数据进行分类。然而，决策树是由算法构建的，该算法在达到清晰分类的同时使用最少的必要规则，因此，即使数据中存在各种潜在规则，树也只提取最少规则。为了解决这个问题，本文提出了 “MAABO-MT” 和 “GS-MRM” 算法，它们分别在具有小计算复杂性的所有可能树中构建具有高估计性能的树，以及仅提取可靠且不相似的规则。通过使用几个开源数据集进行实验分析，结果证实了 MAABO-MT 以较低的计算代价发现可靠规则，比其他依赖随机性的方法更为有效。此外，所提出的方法被证实在深入挖掘相比之前常用的单一决策树的研究中提供更深入的见解。因此，MAABO-MT 和 GS-MRM 能够高效地从组合爆炸的决策树中提取规则。

Oct, 2023

SIFT-DBT：自训练初始化及微调用于不平衡数字乳钼靶图像分类

数字乳腺断层摄影（DBT）是一种广泛使用的医学影像模态，用于乳腺癌筛查和诊断，通过其类似于 3D 的乳腺体积成像能力提供更高的空间分辨率和更多的细节。然而，增加的数据量也引入了明显的数据不平衡挑战，其中只有一小部分体积包含可疑组织，这进一步加剧了真实世界数据中的案例级分布引起的数据不平衡，并导致学习一个只预测多数类的微不足道的分类模型。为了解决这个问题，我们提出了一种新颖的方法，使用视角级对比自我监督初始化和微调来识别异常 DBT 图像，即 SIFT-DBT。我们进一步引入了一种基于补丁级的多实例学习方法来保持空间分辨率。所提出的方法在 970 个独立研究的评估中达到了 92.69％的卷积 AUC。

Mar, 2024

解锁偏差检测：利用基于 Transformer 模型的内容分析

通过联合使用 Context Transformer 和 Entity Transformer，我们提出了一种新的 Contextualized Bi-Directional Dual Transformer（CBDT）分类器，用于检测文本中的偏见。实验结果表明，CBDT 分类器在准确分类有偏见和无偏见的句子以及识别具体有偏见词语和短语方面具有优势。与基准模型相比，我们获得了约 2-4% 的性能提升。未来的研究可以将该模型扩展到不同的语言和文化背景。

Sep, 2023