Mar, 2024
正弦激活低秩矩阵用于参数高效学习
Sine Activated Low-Rank Matrices for Parameter Efficient Learning
Yiping Ji, Hemanth Saratchandran, Cameron Gordon, Zeyu Zhang, Simon Lucey
TL;DR该研究提出了一个新的理论框架,将正弦函数整合到低秩分解过程中,以提高模型准确性和参数效率。该方法在 Vision Transformers(ViT)、大型语言模型(LLMs)、神经辐射场(NeRF)和 3D 形状建模中应用成功,展示了其广泛潜力和效率。