- Conv-Basis：Transformer 中高效注意力推理与梯度计算的新范式
大型语言模型对世界产生了深远影响，其中自注意机制是 transformer 在大型语言模型中取得成功的关键。然而，长度为 n 的输入序列带来的二次计算复杂度 O (n^2) 一直是对提高和扩展更长上下文的一个难以克服的障碍。本文利用注意力矩 - HAFFormer：面向自由语音的阿尔茨海默病检测的分层无注意力框架
构建了一个名为 HAFFormer 的新型框架，通过使用多尺度深度卷积的无注意模块替代自注意力，以及使用 GELU-based 门控线性单元替代前馈层，从而在 AD 检测中更好地处理长时间语音，提高了计算效率和模型的减小比率。
- IMU 辅助的事件驱动立体视觉里程计
通过建立事件的生成模型来解决映射和相机姿态跟踪的问题，并提出提高事件边缘像素采样效率以及结合时间立体结果和静态立体结果来改善映射性能，同时通过引入陀螺仪测量作为先验来解决相机姿态跟踪中的退化问题，通过公开数据集的实验证明了改进的方法的有效性 - 基于体素重要性的高效放射治疗计划
通过使用代表性的信息体素子集，我们减少了辐射治疗计划中耗时的优化问题，提高了规划效率同时保持或增加了计划质量。为了降低优化问题的计算复杂性，我们提出了通过重要性抽样对体素集合进行子采样的方法。我们根据从一个包含简化探测目标的简单优化问题的预 - ReCycle：高效快速的长时间序列预测与残差周期变换
通过引入 Residual Cyclic Transformer (ReCycle) 来解决长时间序列中注意力机制的计算复杂性，通过学习来自精细平滑平均技术的残差，ReCycle 在各种应用场景中超过了最先进的准确性，同时降低了运行时间和能 - DVMSR：用于高效超分辨率的精简视觉黑曼巴
我们提出了 DVMSR，一种结合了 Vision Mamba 和蒸馏策略的新型轻量级图像超分辨率网络，通过最小化计算复杂度和网络参数来加速超分辨率网络推理，并在保持性能的同时实现了效率改进。
- 关于以求和运算符进行概率和因果推理
引入求和运算符来捕捉应用程序中常见的设备，如 Pearl（2009）的因果推断中的 $do$-calculus，其中大量使用边际化。我们对使用边际化的概率和因果推理的复杂性进行了完全的特征化，证明了它们仍然等同困难。
- 一种具有对数复杂度和遗憾保证的在线基于梯度的缓存策略
我们引入了一种基于梯度的在线缓存策略，相对于目录大小具有对数计算复杂度，同时提供遗憾保证，能够在实时决策和最佳后见选择之间最小化性能差距。
- CrossMPT：用于错误纠正码的交叉注意力消息传递变换器
本文提出了一种基于神经网络的交叉注意力消息传递变压器（CrossMPT）用于解码误差纠正码 (ECC)，并证明了与现有神经网络解码器相比，CrossMPT 在特别是解码低密度奇偶校验码方面具有显著的性能优势和计算复杂度降低。
- 关于 LLMs 的推理和规划经验复杂性的研究
通过进行实验案例研究并将结果与机器学习中的样本和计算复杂性联系起来，我们发现如果问题可以分解成一系列推理步骤，并且学习预测下一步具有较低的样本和计算复杂性，明确列出推理链与预测下一步所需的所有必要信息可能会改善性能，相反，对于计算复杂的问题 - Qandle：利用门矩阵缓存和电路分割加速状态向量模拟
为了解决与量子电路状态向量模拟相关的计算复杂性问题，我们提出了一种组合应用先进技术来加速电路执行的方法。通过量子门矩阵缓存和电路分割，我们减少了应用门矩阵到状态向量时的重复计算量，并通过使用 PyTorch 机器学习框架实现了这些技术。我们 - 神经符号分类技术的概率推理复杂性
神经符号人工智能是一个不断发展的研究领域，旨在将神经网络学习能力与符号系统的推理能力相结合。知情多标签分类是神经符号人工智能的一个子领域，研究如何利用先前知识改进神经分类系统。该论文介绍了一个信息驱动的监督分类任务和技术的形式化描述，并基于 - RhythmMamba：快速远程生理测量与任意长度视频
使用 Mamba 为基础的 RhythmMamba 方法，通过多时间尺度的 Mamba 约束周期模式与短期趋势，并结合频域前馈使得 Mamba 能够牢固理解 rPPG 的准周期模式。大量实验证明，RhythmMamba 在减少参数和降低计算 - 面部伪造检测的带注意力调制的 RetNet
通过引入轻量级的网络 BAR-Net，本研究解决了 transformer 网络在平衡全局上下文获取与计算复杂度之间的挑战，提高了人脸伪造检测的性能。
- 高效可学习的单幅图像超分辨率协同注意力
我们提出了一种新颖的可学习协同注意力（LCoA）方法，通过引入归纳偏差来解决非局部建模中的高计算复杂性和内存消耗问题，并将其集成到深度可学习协同注意力网络（LCoAN）中，与其他先进的超分辨率方法相比，在推理时间、内存消耗和重建质量等方面取 - Diffusion-RWKV：为扩展扩散模型的 RWKV-Like 架构
该论文介绍了一种在图像生成任务中应用于扩散模型的一系列基于 NLP 中 RWKV 模型的架构，通过针对性的修改，使其能在高分辨率图像生成任务中高效处理，减少计算复杂度。在条件和无条件图像生成任务上的实验结果表明，Diffusion-RWKV - HeteroMILE：异质图的多层图表示学习框架
HeteroMILE 是一种可以使得当代图嵌入方法适应大型图的通用方法，在保持骨干结构的同时将大尺寸图编织成较小尺寸以减少计算成本，并且在链接预测和节点分类方面产生更好质量的嵌入。
- 快速 OMP 用于精确恢复和稀疏逼近
该论文对 Orthogonal Matching Pursuit (OMP) 进行改进，提出了一种快速算法和一种新的选择准则，从而减少信号恢复所需的迭代次数和计算时间，并给出了精确恢复的充分条件及近似误差的界限。
- 基于理论边界导向的分层 VAE 神经图像编解码器
基于理论边界指导的分层变分自动编码器 (BG-VAE) 通过引导神经图像编解码器 (NIC) 模型，利用率失真理论上边界来提升性能。通过实验证明，BG-VAE 在考虑率失真性能和计算复杂度时优于现有方法。
- 通过静态和动态修剪在 FPGA 上加速 ViT 推理
提出了一种综合算法 - 硬件设计，通过同时进行静态权重剪枝和动态令牌剪枝，加速在 FPGA 上的 ViT（Vision Transformers）模型，以减少计算复杂性和模型大小。