ICLRMar, 2020

应用于宇宙学的变换重要性

PDF
TL;DR提出了 TRIM（TRansformation IMportance）方法，该方法可将特征权重归因于转换空间，可用于任何领域 / 模型，并可与任何局部解释方法相结合。在宇宙学参数估计问题中，将 TRIM 与上下文分解相结合，有助于识别 DNN 使用的频率，以了解模型是否学习了适当的物理特征，而不是模拟工件。
发现论文，激发创造
  • 使用变形风险最小化学习增强分布

    提出了一种新的 Transformed Risk Minimization (TRM) 方法，该方法通过学习数据增强变换的分布来解决机器学习中的数据分布结构适应问题；并且通过一种新的参数化组合块的方法，利用 PAC-Bayes upper bound 优化数据增强空格，在 CIFAR10/100、SVHN 等数据集上使用 Stochastic Compositional Augmentation Learning (SCALE) 算法进行实验，提高了学习模型的校准性能。

    Nov, 2021

  • 超越注意力可视化的 Transformer 可解释性

    本研究提出了一种基于 Deep Taylor Decomposition 原则的计算 Transformer 网络相关性的方法，通过注意力层和跳跃连接进行传播，并通过基于图像分类和文本分类问题的测试表明其在解释性方面优于现有方法。

    Dec, 2020

  • 神经网络解释易受伤

    本文探究了解释深度学习预测的方法对于随机扰动的敏感性，发现即使对于具有同一预测标签的两个感官不可分的输入，这些方法也会得出非常不同的解释结果，并分析了导致这种脆弱性的几何原因。

    Oct, 2017

  • 使用局部变换学习不变表示

    本文提出了一个新颖的具有转换不变性的特征学习框架，将线性转换纳入特征学习算法中，可应用于无监督学习方法，如自动编码器或稀疏编码，证明在 MNIST 变化，CIFAR-10 和 STL-10 等图像分类基准数据集上具有优越的分类性能并在 TIMIT 数据集上实现了最先进的电话分类任务的结果。

    Jun, 2012

  • 可追溯的小组级自优化特征转换学习：双重优化视角

    这篇研究论文讨论了如何通过强化学习来自动化特征转换，以解决维度灾难、数据稀疏性和模型泛化等问题，并提出了一种集成图形表示和增强学习技术的自优化框架来改进其效果和通用性。

    Jun, 2023

  • 嵌入空间中的 Transformer 分析

    该研究在理论上分析了训练好的 Transformer 模型参数的映射关系与对应的词向量，在嵌入空间中进行模型参数解释，从而实现在模型特定细节抽象化的前提下进行模型参数解释，进一步提出了参数对齐和分类器构建两种应用。

    Sep, 2022

  • 自优化特征转换

    提出了一种自优化框架，用于固有特征空间的转换，以增强机器学习模型的泛化能力，通过使用强化学习来改善性能并比较不同的训练策略。

    Sep, 2022

  • 几何感知深度变换

    该文章提出了一种新的深度学习目标公式，在小训练集合的情况下能够使得其学习到的深层网络具有较好的泛化能力，同时介绍了一种基于几何感知的深度转换技术，从而实现了非线性、具有鲁棒性的特征转换，该方法在合成和真实数据方面表现良好，并支持所提出的框架使用 (K,ε)- 鲁棒性分析。

    Sep, 2015

  • 用于图像分类和搜索的变换不变卷积神经网络

    该研究提出了在卷积神经网络的训练阶段中随机转换特征图以增强模型对空间变换的不变性，从而显著提高了 CNN 在图片识别等许多基准任务上的表现。

    Nov, 2019

  • 利用低维参数子空间表示输入变换

    通过子空间可配置网络探讨模型权重最适合为参数化的连续转换低维线性子空间的配置假设，为解决输入转换和最优模型权重之间的基本关系提供了一种新的方法。

    May, 2023