Jan, 2024

机器学习中伪随机数生成器的可重现性、能效和性能比较研究：Python、NumPy、TensorFlow和PyTorch实现

HTML
PDF
TL;DR研究探讨在机器学习语言、库和框架中所采用的领先伪随机数生成器（PRNGs）相对于原始C实现的PRNG算法是否具有统计质量和数值可复现性，并评估了其时间效率和能源消耗，发现机器学习技术在时间性能和能源消耗方面与C实现相当，但无法在不同平台上实现相同种子和算法的数值可复现性。
发现论文，激发创造
  • Theano: 用于快速计算数学表达式的 Python 框架

    Theano是一个Python库，可高效地定义，优化和评估涉及多维数组的数学表达式，在机器学习社区中一直以来是最常用的CPU和GPU数学编译器之一，并显示稳定的性能改进。

    May, 2016

  • QPyTorch: 一个低精度算术模拟框架

    本文介绍了 QPyTorch 模拟框架，利用该框架可以方便地研究低精度训练。通过使用该框架，可以有效减小低精度训练给计算机带来的负担，以及避免硬件开发的高昂成本，从而得到效率更高的模型。

    Oct, 2019

  • PyTorch：一款命令式的高性能深度学习库

    本文介绍了深度学习框架 PyTorch 的原则、架构及其对硬件的支持，重点阐述了 PyTorch 是一种Pythonic编程风格的机器学习库，同时保持了高效性。

    Dec, 2019

  • Python 中的机器学习：数据科学、机器学习和人工智能的主要发展和技术趋势

    Python机器学习领域的综述，研究使用Python核心硬件和软件范例（如深度神经网络和可扩展GPU计算）来处理海量数据和降低人工智能的使用门槛。

    Feb, 2020

  • 使用PyTorch简化Tensor和网络剪枝

    本文介绍了PyTorch中torch.nn.utils.prune模块的新扩展，提供了共享的、开源的剪枝功能，以便在模型训练前、中、后减小模型的大小和容量，帮助减少资源有限设备上部署快速、可持续、私密的模型的技术难度。

    Apr, 2020

  • 剪枝方法的合理性检查：随机选票或中大奖

    本文提出了一种利用随机比率和初始值提取的网络子结构的方法，称为随机票选，并通过实验发现它的性能与利用训练数据提取的子网络的性能相似或更优，并进一步介绍了一种使用随机票选和一个现有子结构提取方法的混合票选方法，被称为混合票选。

    Sep, 2020

  • 即时汤：在单次传递中廉价剪枝集合可以从大型模型中抽出彩票

    本文介绍了一种名为Instant Soup Pruning(ISP)的卷积神经网络模型剪枝方法，使用该方法在不需要昂贵硬件的情况下，生成小型剪枝模型子网络，并成功将该方法应用于两个大规模预训练模型：CLIP和BERT，我们的实验结果表明，与其他剪枝方法相比，ISP非常有效。

    Jun, 2023

  • 标签噪声下量化彩票：准确性，校准和复杂度

    本文介绍了一种使用稀疏双下降方法鉴定和表征与分类任务相关的剪枝模型，该方法对网络大小变化具有鲁棒性，并表明剪枝模型不仅具有更好的计算性能，而且可以更好地表示学习中的不确定性。

    Jun, 2023

  • 机器学习需要自己的随机性标准：随机平滑和基于伪随机数生成器的攻击

    本文考虑攻击者是否可以只利用制造机器学习模型所依赖的随机性来破坏模型的安全性， 发现攻击者能够利用 Randomised Smoothing，一种用于提高模型抵抗对抗性攻击和量化不确定性的方法，背后基于对高斯噪声采样，来进行欺骗性认证，而且攻击只需要更改极小的随机数。因此，作者提出更新NIST的随机数测试准则，以使其更适用于安全和关键性的机器学习应用。

    Jun, 2023

  • 在机器学习中使用准随机序列进行模型权重初始化

    本研究解决了神经网络训练初始权重选择对模型性能的影响问题，探讨使用低差异准随机数生成器(Sobol'序列)替代伪随机数生成器(PRNG)作为权重初始化方法的潜力。研究表明，在120次实验中，60%的情况下，使用准随机生成器的初始化方法要么能更快地达到相同的准确度，要么能实现更高的准确度，从而提升模型训练的效率和效果。

    Aug, 2024