Emb-GAM：使用预训练语言模型的可解释和高效预测器

Sep, 2022

Emb-GAM：使用预训练语言模型的可解释和高效预测器

Emb-GAM: an Interpretable and Efficient Predictor using Pre-trained Language Models

Chandan Singh, Jianfeng Gao

TL;DR该研究利用神经语言模型提取输入的嵌入，学习嵌入空间中的线性模型来构建最终模型（称为 Emb-GAM），实现了透明的、线性的功能和特征交互，并能很好地泛化到新输入。通过各种自然语言处理数据集的实验，Emb-GAM 在不牺牲可解释性的情况下实现了强大的预测性能。

Abstract

deep learning models have achieved impressive prediction performance but often sacrifice interpretability, a critical consideration in high-stakes domains such as healthcare or policymaking. In contrast, generalized additive models (GAMs) can maintain interpretability but often suffer

deep learning generalized additive models neural language models emb-gam natural-language-processing

发现论文，激发创造

NODE-GAM: 神经广义加性模型用于可解释的深度学习

本文提出了一种神经广义加性模型（NODE-GAM）和神经广义加性和模型（NODE-GA^2M），这种模型相对于其他集成和深度学习模型而言更具有可解释性，且可以自监督预训练以提高模型准确性。

Jun, 2021

使用 LLMs 和可解释模型的数据科学

大规模语言模型与可解释模型（Interpretable Models）能够相互配合，LLMs 能够描述、解释和调试广义可加模型（Generalized Additive Models），结合 GAMs 描述的统计模式，使得数据集概述、问题回答和模型评论成为可能。LLMs 还能改进领域专家和可解释模型之间的交互，并产生关于潜在现象的假设。

Feb, 2024

可解释机器学习模型的评估基于加性模型限制

本文探讨 Generalized Additive Models 的五个高级扩展模型和传统的六个机器学习模型，研究和评估其预测绩效和可解释性，并提出了更多的改进设计建议。

Apr, 2022

广义相加模型（GAMs）的可解释性和信任度如何？

该文研究了各种算法在真实和模拟数据集上的表现，发现高特征稀疏性的广义加性模型可能会忽略数据中的模式并对稀有亚族群体不公平，而基于树的广义加性模型在稀疏性、保真度和准确性方面表现最佳，因此值得信赖。

Jun, 2020

可解释性，然后呢？通过编辑机器学习模型来反映人类的知识和价值观

本文介绍了由机器学习、人机交互研究员、医生和数据科学家联合开发的第一个交互式系统 GAM Changer，能够帮助领域专家轻松编辑广义加性模型（GAMs）并修复存在的问题，使其满足其知识和价值观。且该工具易于使用、符合编辑需要，可满足当前工作流程。

Jun, 2022

交互可视化编辑广义加性模型的 GAM 变革

通过 GAM Changer 这个开源的互动系统，使用可视化技术使得机器学习领域的数据科学家和领域专家能够轻松地分析、验证、调整他们的广义可加模型，从而消除模型中潜在的不可取的模式。

Dec, 2021

通过多项式实现可扩展的可解释性

提出了一种新的分类 GAMs 的方法，称为 Scalable Polynomial Additive Models (SPAM)，通过多项式的张量秩分解来实现高阶特征交互，同时保证模型的可解释性和易扩展性，大幅度地优于现有的可解释方案，并在真实世界的各种基准测试中表现出与 DNN / XGBoost 相当的性能。

May, 2022

LLMs 理解透明盒模型，发现意外，提出修复建议

通过采用分层推理方法，大型语言模型（LLMs）能够提供综合的模型级摘要，自动化数据科学中的常见任务，如检测与先前知识不符的异常情况，描述异常情况的潜在原因，并建议消除异常情况的修复方法。以医疗保健领域的多个例子为例，演示了 LLMs 的这些新功能的实用性，特别强调广义加性模型（GAMs）。最后，介绍了开源 LLM-GAM 界面工具包 TalkToEBM。

Aug, 2023

区域可加性模型：最小化特征相互作用的可解释性设计模型

Regionally Additive Models (RAMs) 是一种新型的可解释设计模型，能够在捕获多个特征之间的交互项的同时，保持可解释性。通过在特征空间中确定减少交互的子区域，并为每个识别出的子区域拟合一个 GAM 成分，RAMs 能提供比普通的广义可加性模型（GAMs）更出色的表达能力和保持可解释性。

Sep, 2023

高效可解释的交通目的地预测：解释性提升机方法

通过评估一种高效的可加性模型，本研究在三个热门混合交通数据集上对交通预测进行了评估，结果显示该模型在预测行人目的地方面表现竞争力，对以车辆为主的数据集则提供较为适度的预测，而透明的训练模型使我们能够分析特征的重要性和相互作用，并提供预测解释的质量性示例。

Feb, 2024