ICMLSep, 2020

支持几乎恒定时间扩展的大规模并行异步 Tsetlin 机器架构

PDF
TL;DR本文提出了一种新的 Tsetlin 机降低了分类的取票瓶颈，并支持分散的学习，进而支持处理大型数据集和更多选择以提高学习准确性的并行和异步架构。
tsetlin machinesparallelizationdecentralized learningasynchronous architecturemassive datasets
发现论文，激发创造
  • 通过限制 Tsetlin 机子句大小建立简明的逻辑模式

    本研究介绍了一种新的 Tsetlin 机器学习算法改进版 - 受限子句集 TMs（CSC-TMs），它可以在硬件友好的情况下提高准确性，并减少计算机逻辑的开销。我们在表格数据、自然语言文本、图像和棋盘游戏方面进行分类、聚类和回归实验。结果表明，CSC-TM 在保持准确性的同时可以减少 80 倍的逻辑量。

    Jan, 2023

  • 一种用于 Tsetlin 机在线学习的 FPGA 架构

    该论文提出了一种面向在线学习的新型 FPGA 架构，用于在嵌入式应用中低复杂度地实现机器学习算法 Tsetlin Machine，实现了可靠和高性能的在线学习，同时降低了功耗和提升了准确率。

    Jun, 2023

  • Tsetlin 机器的广义收敛分析：概率方法应用于概念学习

    Tsetlin 机器的收敛性分析表明，通过引入概率概念学习（PCL）框架，可以简化 TM 结构，并确保在 0.5<p_k<1 的条件下，PCL 能够收敛到文字的析取，为未来关于 Tsetlin 自动学习算法收敛性的研究奠定基础。

    Oct, 2023

  • 利用特斯特林机进行高效数据融合

    我们提出了一种新颖的方法，通过 Tsetlin 机器来评估和融合嘈杂的动态数据。我们的方法是通过监测 TM 学习的逻辑子句在动态数据中的可能噪声下如何变化来识别噪声，从而通过降低先前学习的子句的权重或以新子句的形式反映它。我们还进行了一项全面的实验研究，使用了明显不同的数据集，证明了所提出方法的高性能。

    Oct, 2023

  • 使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型

    本论文提出了一种新的并行计算方法（并行、管道、数据并行），并探讨了不同并行计算方法之间的权衡取舍，可使模型达到拥有万亿参数的级别，提高了 10％的吞吐量，是现有方法的可比内存占用率。在 3072 个 GPU 上完成了 1 万亿参数模型的训练，每个 GPU 的吞吐量达到了理论峰值的 52％。

    Apr, 2021

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020

  • Tsetlin 机全局和局部解释的闭合表达式及其在高维数据解释中的应用

    本文提出了用于理解 Tsetlin Machines 模型的闭式表达式，并从模型的合取子句中直接制定了表达式，使其可以实时捕捉功能的作用并进行可视化高维数据的新数据聚类算法。通过与 SHAP 和其他解释机器学习技术的对比，该方法具有竞争性的预测精度。

    Jul, 2020

  • 大型语言模型预训练的高效参数搜索和并行性扩展研究

    研究项目侧重于并行和分布式机器学习算法的开发，特别是优化数据处理和预训练一组包括 5 个编码解码器 LLM（从 5.8 亿到 130 亿个参数不等）。我们进行了一项细致的研究，以量化三种机器学习并行性方法之间的关系，特别是探索了微软 DeepSpeed Zero Redundancy Optimizer (ZeRO) 阶段。

    Oct, 2023

  • TinyCL：自主系统上用于持续学习的高效硬件架构

    在资源受限的自主系统上执行连续学习的第一个硬件加速器 TinyCL，通过执行前向传播和反向传播，并进行内存管理和控制，实现了在训练模型上的高效率和高速度。

    Feb, 2024

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017