Dec, 2017

用多尺度张量网络学习数据的相关特征

PDF
TL;DR本文介绍了受物理中粗粒化方法启发的相似算法如何适用于数据，并基于分层树张量网络，在输入维度和数据集大小的线性比例上进行缩放，使用无监督算法计算大多数层，然后仅针对 MNIST 和 fashion-MNIST 数据集的顶层进行监督分类的优化，得到了非常好的结果，并讨论了将监督权重的先验猜测与数据的无监督表示相混合，从而得到数量较少的特征，但依然能够获得良好性能。
coarse-graining approachestree tensor networksunsupervised algorithmsupervised classificationmnist
发现论文，激发创造
  • 分类与回归的多尺度张量网络架构

    通过对数据进行一系列的小波变换，提出一种使用张量网络进行监督学习的算法，其中使用了矩阵乘积状态来处理粗粒化的数据，并使用基于密度矩阵重整化群算法的自适应算法来训练 MPS。

    Jan, 2020

  • 量子启发张量网络的监督学习

    本研究探讨了如何使用张量网络来优化矩阵积态，以用于分类图像的模型参数化，且在 MNIST 数据集上取得了不到 1% 的测试集分类误差。此外，我们讨论了张量网络形式如何为学习模型提供附加结构，并提出了可能的生成性解释。

    May, 2016

  • 基于 DAG-CNN 的多尺度识别

    使用 DAG-CNN 的多尺度卷积神经网络探索了多尺度特征提取，并在三个场景基准测试中展现了最新的最佳分类性能。

    May, 2015

  • 数据引导的多尺度损失和高效多速率梯度下降方案

    这篇论文研究了多尺度数据对机器学习算法的影响，尤其是在深度学习的背景下。它揭示了损失景观中的多尺度结构，包括从数据中继承的梯度和海森矩阵。相应地，它引入了一种新颖的梯度下降方法，灵感来自科学计算中使用的多尺度算法。这种方法试图超越经验性的学习率选择，提供一种更系统、以数据为基础的策略，以增强训练效率，特别是在后期。

    Feb, 2024

  • 通过 CNN Tree 学习大规模分类的细粒度特征

    本文提出了一种新颖的方法来增强卷积神经网络（CNN）的可辨别性，通过建立一个树状结构来逐步学习精细的特征，以区分一部分类别。我们开发了一种新算法，有效地从大量类别中学习树结构。实验表明，我们的方法可以提高给定基本 CNN 模型的性能，且具有一般性，因此可以潜在地与许多其他深度学习模型结合使用。

    Nov, 2015

  • 学习多尺度表示用于材料分类

    研究利用多尺度编码过程中的规模信息，将特征学习用于材料识别，结果表明我们的所学特征优于手工描述符。

    Aug, 2014

  • 高能物理数据上的量子启发式机器学习

    本文介绍如何应用张量网络作为量子启发机器学习技术，有效地分类来自 CERN 的大型强子对撞机数据，特别是分类所谓的 b - 喷注，并解释分类结果。同时，还认为张量网络在学习过程中根据所获取到的信息选择重要的特征并调整网络结构，在不需要重复学习过程的情况下实现精密分类或快速响应。这些结果为实现高频率实时应用奠定了基础，这是目前和未来 LHCb 事件分类的关键之一，能够触发每秒数千万个事件。

    Apr, 2020

  • 使用最优最小二乘法进行树张量网络的主动学习

    本文提出了新的学习算法，利用树状张量网络在最小二乘法下逼近高维函数，通过使用基于多变量函数的主成分分析的一般化，给定张量网络的维树或结构，提供一种生成嵌套张量子空间序列的算法，通过使用从先前生成的子空间依赖的分布生成的样本计算投影。提供期望下的误差界限。提出了适应特征空间和等级以达到规定误差的实用策略。还提出了一种通过合适的变量配对逐渐构建维度树的算法，允许进一步减少达到该错误所需的样本数。数值实验说明了所提出算法的性能，并表明可以得到稳定的逼近值，样本数接近于估计的张量网络的自由参数数目。

    Apr, 2021

  • 使用预训练卷积神经网络进行多层级和多尺度特征聚合以达到音乐自动标记

    本文提出了一种基于卷积神经网络（CNN）架构的音乐自动标记技术，该技术融合了多层级和多尺度特征，通过三个步骤的训练方式在音乐自动标记中表现出高效性并在 MagnaTagATune 数据集和 Million Song 数据集上超越了之前的 state-of-the-arts。实验证明该架构同样适用于迁移学习。

    Mar, 2017

  • 多尺度特征模仿用于无监督异常定位

    本文提出了一种基于教师 - 学生特征模仿网络的多尺度处理策略，采用了基于梯度下降优化的网络模块重要性搜索方法，可以有效地解决无监督异常定位任务的挑战，并在实际工业产品检测数据集上比同期的特征建模异常定位方法具有更好的性能。

    Dec, 2022