Apr, 2023

类型化仿射决策结构的威力：一个案例研究

PDF
TL;DR本文介绍了 TADS (紧凑型白盒神经网络表示) 在神经网络验证中的应用，结合 PCA 降维技术，提出了 Precondition Projection 技术用于描述神经网络的行为，可以用于诊断网络错误并提供紧凑和明确的解释，以及用于网络调试和生成新的训练样本。
tadsneural network verificationadversarial attacksprecondition projectionpca
发现论文，激发创造
  • 卷积神经网络激活层拓扑结构实验观察

    本文应用拓扑数据分析的前沿技术，通过量化内部表示之间的差异和绘制网络层次结构图等方法，探索了用于图像分类的深度神经网络的可解释性，并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。

    Dec, 2022

  • 通用对抗方向

    本文介绍了深度神经网络中的普适性对抗性干扰及其转移问题，并提出了仅固定方向而自由调整干扰强度的通用对抗方向及基于主成分分析的算法，以解决对抗性干扰的转移问题。

    Oct, 2022

  • 解析图机器学习中拓扑数据分析的威力

    我们详细测试了拓扑数据分析（TDA）的声称，并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性，并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力，同时增加了计算成本。我们研究了与图特征相关的现象，如小直径和高聚类系数，以减轻 TDA 计算的计算开销。我们的研究结果为将 TDA 整合到图机器学习任务中提供了宝贵的观点。

    Jan, 2024

  • 拓扑数据分析在语音处理中的应用

    本论文介绍了一种利用拓扑数据分析法（TDA）分析语音的新方法，通过引入一系列从 Transformer 注意力映射和嵌入中得出的拓扑和代数特征，展示了建立在这些特征之上的简单线性分类器优于微调分类头的表现，并展示了拓扑特征能够揭示语音 Transformer 头的功能角色。

    Nov, 2022

  • 神经网络分析的拓扑数据分析综述

    该研究综述了拓扑数据分析（TDA）在神经网络分析中的应用，并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略，并回顾了拓扑信息如何被利用来分析神经网络的特性，如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域：1. 神经网络架构的特征化；2. 决策区域和边界的分析；3. 内部表示、激活和参数的研究；4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章，并提供背景信息，以帮助理解各种方法。最后，综合研究获得的关键见解，讨论了领域中的挑战和潜在进展。

    Dec, 2023

  • 基于张量特征表示的自适应预测的多标准决策支持

    本研究通过信号处理等技术，将多准则决策分析方法扩展为适应时变环境的张量表示和自适应预测，并在最有利的决策领域中处理张量以获得替代方案的排名。通过实验结果对比，我们的方法在非平稳时间序列中表现出显著的相关性和高效性。

    Jan, 2024

  • 利用测试时间增强和一致性评估进行异常检测

    本文提出一种针对神经网络对未知数据的检测算法，名为 TTA-AD，借鉴了一种新的观察方法，实验证明 TTA-AD 在不同高效图像基准数据集下，运行时间比现有基于分类器的算法下降了 60%~90% 且具有可比较或更好的检测性能。

    Jun, 2022

  • 拓扑深度学习：新兴范式综述

    本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

    Feb, 2023

  • 限制表示产生知道自己不知道的模型

    该论文提出了一种新的方法，即对模型的内部激活模式施加类感知约束，从而解决神经网络在训练内容稍有差别或存在对手时可能会返回错误预测的问题，并且可以通过总激活分类器获得可靠的置信度和预测，这种方法比现有的替代置信度方法更好。

    Aug, 2022

  • 时间序列异常检测的严格评估

    本研究分析了时间序列异常检测中评分协议的合理性，并提出了一种新的基准和评估协议，以帮助更精确地评估 TAD 方法并推动未来的研究。

    Sep, 2021