- QuaRot:无异常值的旋转 LLMs 中的 4 位推断
利用 QuaRot 的旋转新量化方案,对 LLMs 进行端到端的量化,包括所有权重、激活以及 KV 缓存,并且通过旋转隐藏状态和前馈组件的激活来实现计算的不变性,从而能够以 4 位执行所有矩阵乘法,保留 99% 的零 - shot 性能。
- 快速的归一化互相关模板匹配方法及其在旋转中的应用
开发了一种处理旋转和平移的替代数学理论,通过将模板的所有旋转版本的信息整合到一个唯一的对称张量模板中,可以提高传统模板匹配计算的速度。
- 三维刚体运动模型的双四元数旋转和平移等变性
利用双四元数表示 3D 空间中刚体运动,以同时描述旋转和平移,克服了传统代数无法准确编码平移的问题,并在实验证明了该方法在学习对象轨迹方面的有效性。
- Bessel - 卷积神经网络在图像识别中的 SO (2) 和 O (2) 等变性
本文主要介绍了基于 Bessel 函数的 B-CNNs 的数学开发,包括使用反射和多尺度等同性。通过广泛的研究比较 B-CNN 和其他方法的表现,最终强调了 B-CNN 的理论优势并给出了更深入的数学细节.
- 关于旋转估计的半定松弛紧度
通过基于代数几何工具的一般框架分析,我们研究了用于解决涉及旋转的非凸优化问题的半定松弛的能力。研究中表明其在注册、手眼校准和旋转平均等应用中性能好、稳定。但在极端情况下会存在非常数解,需要适当的参数化方法。
- 神经网络中旋转表示的连续性
本研究提出一种用于训练深度神经网络的连续表示定义,探究了旋转在不同维度下的连续和不连续表示,发现在四维及以下的实数欧几里得空间中,所有 3D 旋转的表示都是不连续的,提出在 5D 和 6D 连续表示下学习更为适宜,而且可扩展到其他转换群。通 - ICML探索空间健壮性景观
研究神经网络分类器对旋转和平移的脆弱性,探索使用鲁棒优化和测试时间输入聚合的思想来提高鲁棒性,并发现一阶方法无法可靠地找到最坏情况的扰动。
- 基于四元数的误差状态卡尔曼滤波器运动学
本文对于三维空间内的四元数和旋转相关的概念和公式进行详尽的修订,并探讨了它们在估计引擎 (如误差状态 Kalman 滤波器) 中的正确使用。论文深入研究了旋转群及其李群结构,使用四元数和旋转矩阵进行公式推导,并对旋转扰动、导数和积分进行特别 - 旋转同步的 Cramér-Rao 界限
提供了一个 Riemannian 流形上同步估计的框架,适用于任意 n 的各种噪声模型,并推导了同步的 Cramér-Rao 下限。
- 分子模型中的四元数
本文探讨了四元数在分子建模中处理旋转问题方面的应用,包括匹配分子构象、插值旋转、统计定向数据、随机旋转采样和建立方向空间中的网格。结果表明,四元数可以简单高效地解决许多旋转问题。