介绍一种基于 Tangent Attention Fine-Tuning (TAFT) 的方法，通过对预先训练的初始化进行一阶泰勒展开的计算得到线性化的 transformers，从而使得线性化所得的 Jacobian-Vector Product 可以在一个前向传播中高效计算，从而降低了训练和推理成本同时保持与原始非线性对应物相同的参数数量；此外，当应用于各种下游视觉分类任务时，用 TAFT 进行精调得到的 Tangent Transformer 可以在性能方面与 fine-tuning 原始非线性网络的结果相当。由于 Tangent Transformers 相对于新权重集合是线性的，并且由此产生的 fine-tuning 损失具有凸性，因此 TAFT 在模型组合，并行训练，机器遗忘和差分隐私方面比非线性微调具有更多优势。

Jul, 2023

Tsetlin Machines (TMs) 的组合（TM Composites）利用 TMs 的特化和判断能力，在团队合作中通过选择最自信的 TMs 来取得更优越的性能，提高了图像分类任务的准确性，并成为具有新的最先进结果的方法。

Sep, 2023

我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

Dec, 2017

使用张量分析概念衍生出可追踪边缘的张量混合模型，其简单的卷积神经网络结构有助于设计和实现到央视并能有效地表现丰富的分布，以达到在缺失数据下的分类。

Oct, 2016

本文提出任务算术学，通过线性化对其进行微调，分析了任务算术的机制及作用，强调权重分离是使其有效的关键因素之一。同时，证明其会对多个任务算术基准和多样化模型的表现产生显著的性能提升；并探讨了任务算术与 NTK 空间本征函数的空间本地化之间的联系，从而为编辑预训练模型提供了更加可靠和有效的方法。

May, 2023

本文研究从噪声数据中提取共同和独特特征的问题，提出了一种名为 Triple Component Matrix Factorization (TCMF) 的算法，该算法具有分离三个组成部分的优势，并展示了在视频分割和异常检测领域的卓越特征提取能力。

Mar, 2024

一种训练一致性模型的替代方案，通过表达常态模型轨迹的微分方程，提高训练效率，并显示出经典的幂律缩放规律。

Jun, 2024

本文介绍了一种新颖的图神经网络方法，基于图转换器，引入了两个流编码器，另外通过对比学习来使动态表示具有高级别 (或全局) 语义，提高了交互预测的准确性。

May, 2021

本文提出了一个高效的 Multi-resolution Tensor Completion Model (MTC) 来解决张量部分观测值的补全问题，该模型实现了张量模式特性的探索，并利用分辨率层次进行递归优化。在两个 COVID-19 相关的时空张量上的实验证明，MTC 可以在仅有 5% 细颗粒观测情况下提供达到 65.20% 和 75.79% 的适配度 (PoF)，相对于最佳基线的相对改进为 27.96%。

Jun, 2021

通过张量分量分析 (TCA) 来评估连续学习模型，并研究不同模型架构和基于重要性的连续学习策略，在级联学习过程中揭示内部表示演变的有意义模式。

May, 2024