模型、数据和特征的联合交互

Jun, 2023

On the Joint Interaction of Models, Data, and Features

Yiding Jiang, Christina Baek, J. Zico Kolter

TL;DR通过引入交互张量来分析数据和模型的特征交互，我们提出了特征学习的概念框架，并在其基础上推导了一些理论结果，包括解释广义推广误差相等性等现象的理论构建，从而增进我们对特征学习的理解。

Abstract

Learning features from data is one of the defining characteristics of deep learning, but our theoretical understanding of the role features play in deep learning is still rudimentary. To address this gap, we introduce a new tool, the interaction tensor, for empirically analyzing the in

deep learning interaction tensor feature learning generalization error data distribution

发现论文，激发创造

解释解释：深度网络的公理特征交互

本研究介绍了 Integrated Hessians，这是 Integrated Gradients 的扩展，用于解释神经网络中的成对特征交互；与以前的方法相比，Integrated Hessians 具有更快的速度和更好的性能，适用于各种神经网络架构或类别。

Feb, 2020

解释深度学习中的局部、全局和高阶相互作用

本文提出了一种简单且高度通用的方法来解释神经网络推理过程中的相互作用部分。我们设计了一种基于交叉导数的算法，用于计算个体特征之间的统计交互效应，该方法适用于 2 阶和高阶（3 阶或更高阶）交互项。此外，我们将交叉导数扩展到计算机视觉领域，提出了一种称为 Taylor-CAM 的方法，可以解释神经网络跨多个对象的关系推理过程。我们展示了我们的解释在定性和定量上的成功，并通过用户研究进行了验证。

Jun, 2020

集合间交互的深度模型

利用深度学习研究交互对象之间的模型，包括用户与电影的评分、蛋白质和药物的结合或三元用户 - 项目 - 标签交互等，模型应该是置换等变的，并提出一种参数共享方案以实现在多种矩阵完成基准测试中取得良好的性能，并能够扩展到大型数据集和新的交互对象上。

Mar, 2018

用于解释模型预测的非对称特征交互

提出了一种基于深度神经网络的自然语言处理模型的非对称特征交互解释模型，利用有向交互图表示解释，实验结果表明该模型在情感分类数据集上识别有影响的特征方面表现优异。

May, 2023

T2G-Former: 将表格特征组织成关系图可促进异构特征交互

本文提出了一种自动估计表格数据特征间关系的图估算器，根据所建立的关系图组织各独立特征并实现节点间的有序交互，进而进行表格学习。结合该方法，我们提出了一种基于 Transformer 网络的 T2G-Former，能够在不同层次上收集 T2G-Former 中的显著特征并加以综合，实现对表格数据进行有效处理和预测，进而取得了优异的表现。

Nov, 2022

为推荐系统检测有效特征交互

利用图神经网络方法和基于 L0 激活正则化的边缘预测技术，自动检测有益于提升推荐准确性的特征交互作用，取得了比现有方法更好的准确性表现。

Aug, 2020

功能交互揭示语言模型中的语言结构

本文探讨了关于特征归因方法中的特征交互的问题，并提出了一种灰盒子方法，该方法能够更准确地反映目标模型的内部工作方式。通过在形式语言分类任务上训练模型，并针对性地选择特定的配置，本文展示了一些方法能够揭示模型所学的语法规则，并在对语言模型进行案例研究的基础上，提供了新的关于语言结构的见解。

Jun, 2023

Fi-GNN: 基于图神经网络建模特征交互以用于 CTR 预测

本文提出了一种新的模型叫做 Feature Interaction Graph Neural Networks (Fi-GNN)，可以用于解决 Web 应用中在线广告和推荐系统等任务的 click-through rate（CTR）预测问题。该模型利用图的强大特征表示能力，可以灵活、明确地建模复杂的特征交互，同时还能提供很好的模型解释性，并在真实数据集上得到了优于现有技术的实验结果。

Oct, 2019

使用贝叶斯神经网络学习全局成对交互

提出了一种探测未知形式交互作用效应的非参数概率方法，首先用贝叶斯神经网络模拟特征和输出之间的关系，使用 Bayesian Group Expected Hessian 方法评估交互作用效应和不确定性，最后演示了该方法探测深层神经网络的高阶特征的能力。

Jan, 2019

深度表格学习需要算术特征相互作用

本文研究了深度模型在表格数据上的有效归纳偏差问题，提出了具有算术特征交互的 AMFormer 变形器结构，并在合成和真实数据上进行了广泛实验，证明了 AMFormer 在细粒度表格数据建模、训练数据效率和泛化能力方面的优势，从而表明它在表格数据深度学习中建立了强有力的归纳偏差。

Feb, 2024