- ATP:通过注意力机制实现对顶级主键的快速低延迟存储
提出了一种具有线性复杂度的新型注意力机制 ATP,通过观察输入序列通常具有低秩结构,将输入转换为正交空间,并仅在前几个主要基准上计算注意力。ATP 能够捕捉输入序列中的语义关系,并将注意力复杂度从二次降低到线性,从而在速度上比之前的工作获得 - UnetTSF: 一种性能更好的线性复杂度时间序列预测模型
该论文提出了一种线性复杂度的 U-Net 时间序列预测模型(UnetTSF),采用了 U-Net 架构,并首次使用 FPN 技术从时间序列数据中提取特征,替代了将时间序列数据分解为趋势和季节项的方法,同时设计了适用于时间序列数据的融合结构。 - ICMLMLIC++:线性复杂度多参考熵建模的学习图像压缩
通过对 softmax 运算的分解,本文提出了线性复杂度的全局相关性捕获方法,从而提出了 MLIC$^{++}$,一种具有线性复杂度的用于多参考熵建模的学习图像压缩方法。与 VTM-17.0 相比,我们的 MLIC$^{++}$ 在 PSN - 简单无参数的自注意力近似
我们提出了一种不需要训练参数的自注意力近似方法 SPSA,该方法具有线性复杂度,结合卷积捕获全局空间特征,并在图像分类和目标检测任务中进行了大量实验验证其有效性。
- DRIFT: 一种基于隐式反馈的联邦推荐系统
本报告提出了 DRIFT,这是一种基于 SAROS 的联邦推荐系统框架,使用隐式反馈来实现精细推荐,同时保护用户隐私,并证明了 DRIFT 在计算时间和安全性方面的优势。
- 分布式 Silhouette 算法:对大数据进行聚类评估
本文提出了一种可在分布式环境中高效并行运行的线性复杂度算法来计算聚类的 Silhouette 指数。该算法可以在 Apache Spark ML 库中免费使用。
- 通过控制变量实现高效关注
通过控制变量的方法,我们将随机特征关注(RFA)分解成多个控制变量估计器的和,从而揭示了 RFA 和标准 softmax attention 之间的逼近差距。我们开发了一种更灵活的控制变量形式,得到了一种新颖的注意机制,该机制在保持线性复杂 - 流式端到端自动语音识别的顺序采样块 Conformer
本文研究了一种 Sequentially Sampled Chunk Conformer (SSC-Conformer) 模型,该模型通过使用 SSC-MHSA、分块卷积以及线性复杂度等技术,实现了端到端自动语音识别的最新水平,达到了 5. - 无 Softmax 的线性变换器
提出 SOftmax-Free Transformer (SOFT),其采用高斯核函数替代点积相似度,从而能够通过低秩矩阵分解逼近完整的自注意力矩阵,该模型能够明显提高现有 ViT 变体的计算效率,同时具有线性复杂度,且能够容纳更长的令牌序 - 移动视觉 Transformer 的可分离自注意力
提出了一种线性复杂度的分离 self-attention 方法,使用此方法的 mobileViTv2 模型在移动设备上运行速度为 MobileViT 的 3.2 倍,同时在 ImageNet 数据集上取得 75.6% 的 top-1 准确率 - APP-Net: 基于辅助点的推拉操作实现高效点云分类
提出了一种名为 APP 的新型点云分类本地聚合器,具有线性复杂度和较低内存消耗,通过引入辅助容器来交换特征,避免了每个源点的重复计算问题,并使用在线法线估计模块增强 APP 的建模能力。其在绝大多数数据集上达到了与其他网络可比较的准确度,每 - SOFT: 线性复杂度的无 Softmax Transformer
提出了一种 softmax-free transformer 或 SOFT 方法,通过使用高斯内核函数替换点积相似性,而不需要标准化以消除 softmax,在计算复杂度上具有线性复杂度,并显著提高了已有 ViT 变种的计算效率。
- EMNLP通过预测相对时间线提取时间信息
本研究提出了一种新的时间信息提取模式,通过直接从文本预测事件的起止点来构建时间线,该模式实现了线性复杂度,利用 TimeML 风格的注释训练新的模型,结果表现出很好的效果。
- L-Shapley 和 C-Shapley:用于结构化数据的高效模型解释
本研究探讨了实例级特征重要性评分作为模型解释方法,并提出两种线性复杂度的算法来评估图结构数据中的特征贡献,并与其他模型解释方法进行比较。
- 通过完整执行整个 EXE 文件进行恶意软件检测
本文介绍了从原始字节序列进行恶意软件检测作为更大机器学习社区的一个有意义的研究领域。我们发现,从原始字节中进行检测是一个包含超过两百万时间步骤的序列问题,并且批处理规范化似乎阻碍了学习过程。我们提出了一个具有线性复杂度依赖于序列长度的解决方 - 广义标记多伯努利滤波器的高效实现
本文提出了一种将预测和更新结合为单一步骤的广义标记多伯努利(GLMB)滤波器高效的实现方法。相比于先前的方法,本方法仅需要每次迭代进行一次截断。此外,还提出了一种基于吉布斯采样的有效截断算法。所得到的实现在测量数量的线性复杂度和假定物体的二 - 实用的线性时间差分学习研究
本文介绍了两种混合 TD 策略评估算法,并通过实证比较得出哪种线性 TD 方法在不同情况下应该优先使用及实际应用的具体建议。
- 黑盒哈密顿模拟和酉实现
本文提出了用量子行走模拟黑箱哈密顿量的一般方法。这些技术具有两个主要应用:模拟稀疏哈密顿量和实现黑箱酉操作。我们给出了稀疏 Hamiltonians 常数精度下最好的已知模拟方法,复杂度线性地随着稀疏矩阵的最大非零元素数 D 和演化时间 t - 一种用于图顶点之间连接强度的度量方法及其应用
本文提出了一种简单迭代策略来测量图中两个顶点之间的连接强度,具有线性复杂度和易于并行化的优点。通过收敛性分析,提出了一种相互增强的模型来解释策略背后的直觉,通过在图和超图上的几个组合优化问题展示了该度量的实用有效性。
- 对称二进制输入无记忆信道上极化码的性能和构造
本文提出了一种线性复杂度的任意对称二进制无记忆信道 (B-MC) 构建方法,针对该构建方法推导得到了新的极化码在二进制擦除通道和任意对称 B-MC 上的块误差概率上下界。