input distribution | BriefGPT

关键词input distribution

搜索结果 - 7

关于真实的不变性学习的研究，不涉及权重绑定
通过分析神经网络中的不变性学习，我们研究了从数据中学习的不变性与通过不变性权重绑定实现的真实不变性之间的属性和限制。通过引入不变性错误正则化，我们展示了如何指导不变性学习朝着真实不变性的方向发展，并且显示这种学习的不变性在严重的输入分布偏移
PDFa year ago
借助对比演示和显著性地图探究上下文学习
本文研究了演示组件在大型语言模型在上下文学习中的作用，发现演示中的标签和输入分布会影响模型的表现，而不同任务需要不同的辅助解释。
PDFa year ago
ICML神经元实际上被折叠了吗？神经表示中的细粒度结构
研究发现，在训练良好的神经网络中观察到神经坍塌现象，并提出即使当看起来的神经表示坍塌时，微小的剩余变化仍然可以忠实准确地捕捉输入分布的内在结构。
PDFa year ago
基于领域和区域的机器学习性能抗协变量移位能力评估
本文研究了异变转移对传统机器学习模型性能的影响，通过对概率密度函数域的区域进行分类器性能评估，发现在二维分类问题中，随机森林算法表现最好，在高维实验中，模型主要受到分类函数复杂度的影响，对高密度区域呈现出高偏差的性质。
PDFa year ago
ICLR卷积滤波器何时易于学习？
通过随机梯度下降算法和 ReLU 激活函数，我们分析了卷积滤波器的收敛性。我们的研究不依赖于任何特定形式的输入分布，证明了基于梯度的算法在多项式时间内可以学习卷积滤波器，且收敛速度取决于输入分布的平滑度和卷积核的密度。此理论证明了深度神经网
PDF7 years ago
学习神经网络的特定分布困难度
探讨对输入分布和目标函数的特定假设是否足以保证使用基于梯度的方法进行学习，在此基础上提供了一些工具来证明不同类别的目标函数的难以学习性和困难输入分布。
PDF8 years ago
信道容量的高效逼近
提出一种迭代计算分散无记忆信道容量的方法，包括对输入分布的附加约束；利用凸规划的对偶性，获得了容量的显式上下界。该方法的复杂度为 O（M ^ 2 N√（log N）/ε），其中 N 和 M 分别表示输入和输出字母表的大小；单次迭代的复杂度为
PDF10 years ago