- BSRBF-KAN:在 Kolmogorov-Arnold 网络中结合 B 样条和径向基函数
介绍了 BSRBF-KAN,一种将 B 样条和径向基函数(RBF)结合起来用于拟合数据训练输入向量的科尔莫戈洛夫・阿诺德网络(KAN),通过在 MNIST 数据集上与 MLP 和其他流行的 KAN 进行实验,BSRBF-KAN 在 5 次训 - 在 Kolmogorov-Arnold 网络中探索多项式基函数的潜力:不同多项式组的比较研究
该论文调查了 18 种不同的多项式以及它们在 Kolmogorov-Arnold 网络 (KAN) 模型中的潜在应用,作为传统样条方法的替代。这些多项式根据它们的数学特性进行分类,包括正交多项式、超几何多项式、q - 多项式、斐波那契相关多 - 基于度量的主曲线方法用于学习一维流形
提出了一种基于度量的新型主曲线(MPC)方法,用于学习空间数据的一维流形。在合成数据集和实际应用中使用 MNIST 数据集验证了该方法在形状方面能够很好地学习一维流形。
- 图像分类的压缩元光学编码器
使用光学和混合卷积神经网络,结合知识蒸馏和元光学器件,实现对 MNIST 数据集的图像分类任务,在大幅度减少延迟和功耗的同时,保持了高达 93% 以上的分类准确度。
- 基于模型等价评估的前馈神经网络的压缩修复
我们提出了一种基于两个神经网络的等价评估的修复压缩前馈神经网络的方法,通过计算两个神经网络之间的输出差异来刻画由压缩过程产生的输出差异,并使用这个差异来初始化一个新的训练集以减小神经网络间的差异并提高压缩网络的性能,然后通过重新训练该训练集 - 基于神经网络的二次决策函数分类
本研究探讨了使用二次决策函数的神经网络作为标准神经网络的替代方法,并测试其在手写数字和亚种分类方面在 MNIST 数据集上的表现,并展示了可以使用 Tensorflow 和 Keras 软件进行实现的神经网络结构。
- 知识转化:模型压缩的新途径
通过知识翻译 (KT) 框架,利用神经网络将不同大小的模型进行转换以减少深度学习模型的训练、推理和存储开销,并通过数据增强策略在有限训练数据的情况下提高模型性能,成功展示了在 MNIST 数据集上的可行性。
- 草图与移动:一种强健的聚类压缩解码器
压缩学习是一种新兴方法,通过首先将大规模数据集总结为低维度的草图向量,然后从这个草图中解码出学习所需的潜在信息,从而极大地减少大规模学习的内存占用。我们的研究旨在设计易于调优的算法(称为解码器),以稳健高效地提取这些信息,然后通过分析压缩聚 - 贝叶斯神经网络:一种极小极大博弈框架
使用随机变量描述神经网络的贝叶斯神经网络被构建成极小极大博弈问题,通过在 MNIST 数据集上的实验结果,发现其与闭环转录神经网络有可比性,并揭示了两者之间的联系和贝叶斯神经网络的实用性。
- 基于拓扑特征和神经网络的图像分类
通过持续同调方法,将拓扑学特征与深度学习特征相结合,用于多类别分类任务,对 MNIST 数据集进行分析和评估,发现拓扑信息可以提高神经网络的准确性。
- 通过概率密度估计重构观众扩张视角
本文介绍了在机器学习领域中,通过二元分类任务和类概率估计,对观众进行扩展的技术。通过基于广泛使用的 MNIST 数据集的模拟研究,我们的方法能够识别出扩展观众中最相关的用户,具有持续的高精确度和召回率。
- 前向前向算法中稀疏性的理论
本研究论文探讨解释了前向传播算法中观察到的高稀疏现象,并提出了两个定理来预测单个数据点的激活稀疏性变化,该理论与在 MNIST 数据集上进行的实验结果相吻合。
- 用哈密尔顿蒙特卡洛估计最优的 PAC-Bayes 界限
该论文通过对 MNIST 数据集进行实验,研究了 PAC-Bayes 参数约束为分解高斯分布时在优化 PAC-Bayes 界限时可能损失的紧密度,结果表明在某些情况下存在 5-6% 的显著紧密度差距。
- 发展一种新的量子前处理滤波器以提高神经网络模型的图像分类准确性
本论文提出了一种新颖的量子预处理过滤器(QPF),以提高神经网络模型的图像分类准确性。通过应用 QPF 方法,研究结果表明,在 MNIST 数据集和 EMNIST 数据集上,基于手写数字和字母的图像分类准确性分别从 92.5% 提高到 95 - 通过强化学习控制 GAN 的潜在空间:基于任务的图像到图像翻译案例研究
通过将强化学习(RL)代理与潜在空间生成对抗网络(l-GAN)相结合,我们提出了一种新的方法来解决 GAN 生成过程中控制的挑战。我们开发了一个具备精心设计的奖励策略的 actor-critic RL 代理,使其能够在 l-GAN 的潜在空 - 两层 ReLU 网络中早期神经元对齐与小初始化
利用小初始化进行梯度流训练的研究,研究了两层 ReLU 网络在二元分类问题中的训练。首层神经元在早期对齐阶段尝试与正或负数据对齐,其方向动态分析得出了神经元达到良好对齐所需的时间上界。在对齐阶段后,损失函数以 1/t 速率收敛到零,首层权重 - 扩展前向前向算法
该研究论文介绍了一种名为 “Forward Forward 算法” 的新颖神经网络训练方法,通过在 MNIST 和 IMDb 数据集上的实验拓展了该方法的应用范围,并提出了一种使用金字塔优化策略的阈值设定方法。实验结果表明,该方法在电影评论 - 基于矩阵积态的生成模型分布式预训练
本文提出了一种以基础张量网络操作 (例如求和和压缩) 为特征的训练模型算法,主要应用于机器学习中的 MNIST 数据集,结果表明该算法具有合理的生成新图像和分类任务的能力,并解释其作为压缩量子核密度估计的算法实现。
- 深度持续学习中的可塑性维护
本文研究了深度学习系统在持续学习环境下的表现,发现其容易出现失去可塑性现象,影响其对新数据的适应能力,但通过 L2 正则化和重启动某些不常用单元的连续反向传播算法,可以缓解和避免这种现象。
- 通过数据集随机化中和对抗性攻击
本文通过使用超空间投影来提出了一种新的针对图像分类器的通用防御机制,可以提高深度学习模型对抗攻击的鲁棒性,实验结果显示通过优化攻击和生成对抗攻击测试其在 MNIST 数据集上的成功率可以至少减少 89% 和 78%。