softmax regression | BriefGPT

关键词softmax regression

搜索结果 - 6

ResNet 和 Softmax 的统一方案
这篇论文通过理论分析提供了连接大语言模型、softmax 回归、残差神经网络以及优化问题的统一方案，揭示出了损失函数的梯度、Hessian 矩阵以及利普希茨特性，并通过该方案为未来深度学习模型的研究提供了新的洞察。
PDF9 months ago
如何在大型语言模型的优化中保护版权数据？
利用训练大语言模型的理论方法，可以避免生成版权数据。
PDF10 months ago
重缩超半球函数回归的迭代算法
这篇论文介绍了大语言模型的应用领域以及指数函数注意力单元在其中的基础作用，以及对指数回归和 softmax 回归的研究，并且给出了一个解决输入稀疏问题的算法框架。
PDFa year ago
上下文学习与权重移动对 softmax 回归的紧密性
本文针对 Transformer 注意机制进行研究，基于 softmax 回归建模，研究了单个自注意力层诱导数据转换的上限，并通过梯度下降训练 self-attention-only Transformers 来学习基本回归任务，发现梯度下
PDFa year ago
理想共同分类器假设下的知识蒸馏
IJCKD 提供了一个理论框架，通过一个基于领域自适应理论的数学分析来更好地理解现有的知识蒸馏方法，明确了教师网络与学生网络之间的知识转移机制，并且可以有效地将知识传递给各种应用领域。
PDFa year ago
ICLR通过对抗性 Softmax 近似进行极值分类
本文提出一种简单的训练方法，通过从模仿数据分布的对抗模型中绘制负样本来大大增强梯度信号，以实现极端分类的高效训练，并在大规模数据集上实现了训练时间相对于几个竞争基线的数量级的减少。
PDF4 years ago