可训练嵌入索引中的旋转矩阵学习的 Givens 坐标下降方法
在求解诸如稀疏主成分分析或张量分解等问题时，优化正交矩阵是其中一个核心问题，本文提出了一种并行的基于 Givens 旋转的正交矩阵优化框架，成功地应用于张量分解和稀疏主成分分析， 并在基因组分析中证明了该框架收敛更快且具有优异的表现。
Dec, 2013
本文提出了一种称为 Poeem 的新方法，它采用了产品量化嵌入索引与深度检索模型联合训练的方法，将嵌入学习和索引构建两个步骤统一起来，从而提高了检索准确率，减少了索引时间，并公开了我们的方法以便于比较和重现。
May, 2021
通过引入准 Givens 正交微调（qGOFT），本文旨在提高 Fine-tuning 中的参数效率，并增强其适应各种下游任务的能力。在实验中，我们使用不同的任务和预训练语言模型验证了我们方法的有效性。
Apr, 2024
我们提出了一种不需要正交化的旋转矩阵表示方法（PRoM），通过在各种旋转相关任务中替换正交化过程，实现了在人体姿势估计方面的大规模基准测试中取得的最先进的结果。
Dec, 2023
通过优化旋转参数，针对大型语言模型（LLMs）进行后训练量化（PTQ）可显著减少内存使用、延迟和功耗，并减小其量化误差。通过将随机旋转应用于 LLMs 中的激活和权重矩阵，SpinQuant 方法优化旋转矩阵来减小量化误差，对比其他方法提升了零样本推理性能，尤其在难以量化的模型上获得了显著提升。
May, 2024
我们引入了随机算法到 Clifford 几何代数，将随机线性代数推广到超复向量空间。这种新颖的方法在机器学习中有很多涵义，包括通过凸优化将神经网络训练到全局最优。此外，我们考虑了细调大型语言模型（LLM）中的嵌入作为一个关键应用领域，探索几何代数和现代人工智能技术的交叉点。特别地，我们通过传统方法与基于凸优化的新方法进行了鲁棒的转移学习的比较分析，其中测试了不同嵌入（GPT-4 和 BERT 嵌入）和不同文本分类数据集（IMDb、Amazon Polarity Dataset 和 GLUE）以及一系列超参数设置的凸优化传输学习方法。我们的结果表明，凸优化和几何代数不仅提高了 LLMs 的性能，还提供了一种更稳定和可靠的传输学习方法通过嵌入。
Jun, 2024
该研究提出了一种基于特殊正交群上的同步问题，该问题包括从它们成对比率的噪声测量中估计一组未知的旋转。它的最小二乘解可以通过谱松弛或半定规划来近似，其具有类似于 Max-Cut 的近似算法。该研究通过提出偏差平方和的罚函数来弱化其次方项，并引出了一种求解该问题的凸优化方法，同时在特定噪声模型下，证明了其稳定性并得到了相位转变行为的模拟结果。
Nov, 2012
通过使用矩阵表示实体和使用黎曼优化获得分块对角正交矩阵表示关系，我们引入了一种新颖的知识图谱嵌入模型 OrthogonalE，提高了模型的泛化性和灵活性，显著优于现有最先进的知识图谱嵌入模型，并大幅减少了关系参数的数量。
Jan, 2024
提出了一种基于量子思想的经典算法框架，用于解决接近低秩矩阵问题并快速实现量子算法的经典版本，证明了量子 SVT 框架并不能提供指数级的速度提升，并给出了该框架的多种经典化结果。
Oct, 2019