teacher-student setup | BriefGPT

关键词teacher-student setup

搜索结果 - 4

SGD 训练中偏差动态的理论洞见
机器学习系统通常通过利用数据中的不希望的特征获得偏差，对不同的亚群体造成不同程度的精确度影响。本文探讨了在教师 - 学生模型中，模拟不同数据亚群体的高斯混合模型，偏差如何演化的问题。我们提供了这种设置下线性分类器随机梯度下降动力学的解析描述
PDFa month ago
线性估计器中的领悟 —— 一个可解决的模型，不需要理解的领悟
模型在训练数据拟合后依然能够泛化的现象被称为 “理解”（grokking），本文通过分析和数值实验发现线性网络在简单的教师 - 学生设置中，通过高斯输入也能够出现 grokking 现象。我们推导出模型的训练动态，并提供关于 grokkin
PDF8 months ago
在线学习者的攻击：教师和学生分析
本文从控制理论角度研究了在线学习中攻击者可以利用教师 - 学生设置扰动数据标签来操纵学习动态的情境，通过考虑不同的攻击策略并获取简单线性学习者的稳态的分析结果得出，当攻击强度超过关键阈值时，学习者准确度会出现不连续转变的结论，并利用真实数据
PDFa year ago
教师 - 学生设置下的持续学习：任务相似性的影响
研究在老师 - 学生设置下深度神经网络中的连续学习，通过探究老师之间的相互作用关系，发现任务相似性在中间层与特征层之间存在复杂的相互作用，会对初始遗忘转移率、最大遗忘转移率以及长期遗忘转移率产生影响。这些结果有助于阐明导致灾难性遗忘的多种因
PDF3 years ago