- PointViG: 一种用于高效点云分析的轻量级基于 GNN 的模型
PointViG 是一种高效的点云分析框架,使用轻量级图卷积模块提高局部特征聚合效果并减轻过度平滑问题,在大规模点云场景中采用自适应扩张图卷积技术提高计算效率,并且在性能和复杂度方面达到与先进模型相当的表现。
- 关于潜在扩散变压器 (DiTs) 的统计速率和可证明高效准则
我们研究了在低维线性潜空间假设下, extbf {DiT} 的统计和计算极限。根据渐进的潜空间维度,我们推导了 extbf {DiT} 潜空间网络的逼近误差界,并给出了相应的样本复杂度界限。同时,我们表明从估计的得分函数生成的数据分布收敛于 - 利用不确定性的机器学习模拟南极冰盖引起的区域海平面变化
通过基于神经网络的模拟器,本研究在未来的气候变化情景下,建立了海平面变化与地球重力、旋转和形变(GRD)效应之间的关联。通过采用机器学习模型输出的非线性回归后处理技术,我们推导出了对模拟的海平面变化的预测区间,并展示了神经网络模拟器在准确性 - 高效的人体姿势估计:利用 MediaPipe 中的先进技术
该研究通过优化算法、提高准确性、计算效率和实时处理能力,在人体姿势估计方面取得了重要的进展;改进后的框架在动态运动和部分遮挡等复杂场景下显著提高了准确性,在增强现实、体育分析和医疗保健等方面具有广泛的应用,同时还探索了将这些改进应用于移动和 - KalMamba:面向不确定下的高效概率状态空间模型的强化学习
提出了 KalMamba—— 一种高效的架构,将概率状态空间模型与确定性状态空间模型的可伸缩性相结合,利用 Mamba 在潜在空间中学习线性高斯状态空间模型的动力学参数,并通过并行关联扫描实现标准卡尔曼滤波和平滑。实验证明,KalMamba - LeYOLO,用于目标检测的新型可扩展高效 CNN 架构
基于 FLOP 的高效目标检测计算的神经网络架构设计选择和优化方法,LeYOLO 提供了在不同资源限制下性能优越的计算负载和准确率比例。
- KDD可扩展的采样式规则列表学习
从大数据集中学习近乎最优的规则列表的一种新颖和可扩展的方法,使用采样以有效获得近似最优规则列表,并在质量上做出保证,速度比精确方法快两个数量级,并且与启发式方法相比更高质量的规则列表。
- 基于语言模型的问题与选项生成
基于序列到序列语言模型的三种不同方法,本文开发了问题选项生成(QOG)模型,实验证明这种端到端 QOG 模型在训练和推断过程中具有计算效率高且稳定的特点,优于其他方法,与大型语言模型 Llama 3-8B 相比,我们的分析表明,我们的 QO - DistPred:一种无分布的概率推理方法用于回归和预测
DistPred 是一种用于回归和预测任务的新方法,通过使用可微分的离散形式的得分规则,可以在单次前向传递中生成大量样本来估计响应变量的潜在分布,并具有比现有方法更简单且更强大的性能和 90 倍的推理速度。
- SparseDet: 一种简单而有效的基于全稀疏 LiDAR 的 3D 物体检测框架
提出了一种基于稀疏查询的 SparseDet 稀疏三维物体检测方法,通过局部多尺度特征聚合模块和全局特征聚合模块,完整地捕捉了上下文信息,提高了代理物体表达能力。实验结果在 nuScenes 和 KITTI 上验证了该方法的有效性。
- 体素眼镜蛇:基于点云的三维物体检测的无群组状态空间模型
基于序列化的方法在 3D 物体检测中展示了其有效性,但是将三维体素序列化为一维序列会不可避免地牺牲体素的空间接近性。本文引入了一种名为 Voxel Mamba 的体素状态空间模型(Voxel SSM),采用无分组策略将全部体素空间序列化为单 - Q-S5:朝向量化状态空间模型
探索量化对 S5 模型的影响以及将其部署到边缘和资源受限平台的有效性。使用量化感知训练(QAT)和事后量化(PTQ)系统评估了 SSM 在不同任务上的量化灵敏度,研究结果表明,循环权重低于 8 位精度时,大多数任务的性能显著下降,而其他组件 - 分析大型语言模型在课堂讨论评估中的应用
借助大型语言模型(LLMs)等新的自然语言处理技术,自动评估课堂讨论质量变得越来越可行。本文研究了两种 LLMs 的评估性能如何与任务制定、上下文长度和少样本示例等三个可能影响性能的因素相互作用。我们还探讨了两种 LLMs 的计算效率和预测 - KDD自适应时空图神经网络中的图中优胜模型的预训练鉴定
通过引入 “图中的中奖号码(GWT)” 的概念,我们提出了一种新颖的方法来显著提高自适应空间 - 时间图神经网络(ASTGNNs)的计算效率。通过采用预先确定的星形拓扑作为 GWT 来训练,我们在减少计算需求的同时,保持高性能的模型表现。我 - 渐进无偏样本采样加速尖锐感知最小化
使用渐近无偏采样技术加速 Sharpness-Aware Minimization (SAM) 优化算法,提供超过 70% 的加速效果,同时保持性能。
- 针对个性化联邦学习的客户正则化和类别分布聚合
个性化联邦学习中,通过使用分别适用于具有多样数据分布的客户端的定制模型。本文提出了一种新颖的 PFL 方法,即类别级联联邦平均(cwFedAVG),该方法在服务器端按类别执行联邦平均(FedAVG),创建多个每个类别的全局模型。每个本地模型 - 利用深度强化学习优化自动微分
利用深度强化学习和跨国消除的概念,该论文提出了一种优化雅可比计算所需乘法次数的新方法,并通过减少计算量实现了高达 33%的性能提升。
- 参数反转图像金字塔网络
使用参数反转图像金字塔网络(PIIP)进行多尺度特征提取,在计算效率和性能之间取得平衡,并通过特征交互机制有效整合不同空间尺度的信息,在对象检测、分割和图像分类等任务中相较于传统图像金字塔方法和单一卷积网络,降低了计算成本且取得更好的性能表 - 用于求解正向和逆向 PDE 问题的潜在神经算子
通过在潜变量空间中解决 PDE 问题,提出了潜变量神经运算器(LNO)模型,其中利用物理交叉注意力(PhCA)将表示从几何空间转化到潜变量空间,并通过反向 PhCA 映射恢复真实的几何空间,模型具有灵活性,可以解码任意位置的值并提高预测准确 - 利用 Block-Toeplitz 增强的协方差矩阵和 Siegel 度量来提高运动想象 BCI 分类的计算效率
电脑脑电信号分析中,通过增强协方差方法提高运动想象分类性能,同时提高计算效率。