线性学习器的教学维度
提出了一个针对贝叶斯模型学习者的最优教学框架,旨在平衡学习者未来损失和教师努力的优化问题,此优化问题在一般情况下很难,但在学习者使用共轭指数族模型的情况下,提出一种近似算法来找到最优教学集,该算法优化了聚合充分统计数据,然后将其解包成实际的教学示例,给出了几个例子来说明该框架。
Jun, 2013
本文探讨了机器教学的逆问题,提出了一种新的范例,即学习者使用迭代算法,教师可以根据学习者当前的表现顺序地、智能地提供示例。它着重于实现学习者模型的快速收敛,可以通过设计教学算法减少教学示例并比没有教师进行教学的学习实现更快的收敛。
May, 2017
本文提出了一个算法,通过寻找超级教学集来让学习者在少量的数据上表现得更好,该算法在回归和分类问题中表现良好,并在高斯分布的均值的最大似然估计和1D大边界分类器上提供超级教学保证。
Feb, 2018
本文探讨了通过动态、自动输出适当损失函数来训练机器学习模型的可能性,并提出了一种高效学习教师模型的方法(称为“学习动态损失函数的教学”),经过对图像分类和神经机器翻译等任务的广泛实验,证明了该方法显著提高了各种学生模型的质量。
Oct, 2018
本文研究了机器教学的问题,针对教师在教授目标概念时需要面对学生初始状态和学习速度的多样性,证明了当教师掌握学生学习动态时,使用 O(min{d,N} log(1/eps)) 个样本就能够教授整个班级,同时研究了限制条件下的教学策略可行性和教师成本与学生负担之间的平衡关系,实验结果验证了理论分析和提出的分组教学策略。
Nov, 2018
本文研究了算法机器教学问题,针对核化感知器的不同特征映射家族建立了教学复杂度,即教学维度和样本复杂度。在特定的数据分布平滑假设下,建立了关于近似教学Gaussian内核感知器的复杂度严格边界,并在线性,多项式和高斯核感知器的几个典型场景下提供了最佳(近似)教学集的数值示例。
Oct, 2020
在本研究中,我们通过基于线性信息传递的谱表示的全新优化方案,成功地分离出一种稳定的学生子结构,其在计算神经元、路径分布和拓扑属性方面反映了教师的真实复杂性;当按照优化后的特征值排名修剪训练后的学生的不重要节点时,在达到有效教师规模的阈值以上,观察到性能没有下降,这种行为可以被看作是具有普遍性特征的真正的二阶相变。
Oct, 2023
我们研究了Linear Behavior Cloning(LBC)学习者的最佳教学方法。我们提出了一种名为“Teach using Iterative Elimination(TIE)”的教学算法,它实现了最佳的教学维度。然而,我们也证明了寻找最佳教学集是NP难问题,因此我们提供了一个近似算法保证了教学维度的近似比为log(|A|-1)。最后,我们提供了实验结果来验证我们算法的效率和效果。
Nov, 2023
基于人类抓住简洁和抽象模式的能力,LoT是一种新颖的用于增强深度神经网络泛化能力的正则化技术,通过辅助学生模型改进主模型,提供反馈以捕捉更具泛化和可教性的关联,实验证明LoT可以有效识别泛化信息,并避免陷入数据复杂模式,是当前机器学习框架中的有价值补充。
Feb, 2024