本研究介绍了一种新的 Tsetlin 机器学习算法改进版 - 受限子句集 TMs（CSC-TMs），它可以在硬件友好的情况下提高准确性，并减少计算机逻辑的开销。我们在表格数据、自然语言文本、图像和棋盘游戏方面进行分类、聚类和回归实验。结果表明，CSC-TM 在保持准确性的同时可以减少 80 倍的逻辑量。

Jan, 2023

通过引入具有吸收状态的稀疏 Tsetlin Machine (TM) 以及吸收态的 Tsetlin Automata (TA)，本文提出了一种新的学习方案，通过稀疏数据结构的更新，在学习过程中加速计算、提高学习速度并减少能源消耗。

Oct, 2023

本文提出了一种新的使用预训练词向量表示的 Tsetlin 机器方法，通过从预训练的词向量中提取语义相关的单词作为输入特征来增强 TM 的性能和可解释性。该方法的精度显著高于以前基于 BOW 的 TM，达到了 DNN-based 模型的水平。

Apr, 2021

本文提出一种利用命题逻辑表示单词语义的词嵌入方法，使用 Tsetlin 机器自编码器进行学习，探讨了其在自然语言处理领域中的重要性，对比了其他模型，研究表明在多项分类任务中表现良好，且具有一定的可解释性。

Jan, 2023

使用 Learn-To-be-Efficient 算法能够实现大型语言模型的效率提升，通过激活较少神经元来获得更好的稀疏性和性能平衡，取得了较好的结果。

Feb, 2024

Tsetlin 机器的收敛性分析表明，通过引入概率概念学习（PCL）框架，可以简化 TM 结构，并确保在 0.5<p_k<1 的条件下，PCL 能够收敛到文字的析取，为未来关于 Tsetlin 自动学习算法收敛性的研究奠定基础。

Oct, 2023

本文提出了一种名为 SparTerm 的框架，旨在将预训练语言模型的深度知识转移至基于词袋法的稀疏表示，以提高其语义级匹配的表达能力，同时保持其效率、可解释性和准确性，并在 MSMARCO 数据集上获得了 state of the art 的排名性能。

Oct, 2020

本文提出了一种新的 Tsetlin 机降低了分类的取票瓶颈，并支持分散的学习，进而支持处理大型数据集和更多选择以提高学习准确性的并行和异步架构。

Sep, 2020

我们在小型语言模型（SLMs）中实现了稀疏激活，并通过新的归因测量指标以达到精确的稀疏激活，实验证明我们的方法可以在只损失 < 5% 的模型准确性的情况下实现 80% 的稀疏化比率，可与大型语言模型（LLMs）中实现的稀疏激活相媲美。

Jun, 2024

使用稀疏性加速预训练大型语言模型 (LLMs) 的训练过程，通过观察前向迭代中被激活的神经元的稀疏性，排除不活跃的神经元以提高计算速度，这一方法在实践中实现了与标准训练相媲美甚至更好的性能，持续预训练中吞吐量提升了 45%，在监督微调中节省了 38% 的训练时间，提供了一个简单、硬件无关且易于部署的额外 LLM 训练框架。

Jun, 2024