generalization bounds | BriefGPT

关键词generalization bounds

搜索结果 - 115

大型语言模型的泛化界限在解锁令牌作为数据点上
使用 martingales 的特性，通过 Monarch 矩阵、Kronecker 分解和后训练量化技术，获得大规模语言模型（LLMs）的非平凡泛化界限，适用于实际部署并能生成高质量文本的模型。
PDF2 days ago
近线性网络的广义界限
基于将非线性网络视为线性网络的扰动，我们提出了一种新颖的概括界限，对于接近线性的网络而言，这些界限是非空的。与先前提出的非空泛化界限相比的主要优势在于，我们的界限是先验的：不需要进行实际训练以评估界限。据我们所知，这是对具备此属性的神经网络
PDF18 days ago
巴拿赫空间之间全纯算子的最优深度学习
通过将任意近似编码器和解码器与标准前馈深度神经网络 (DNN) 体系结构相结合，我们提出了学习巴拿赫空间之间的算子的问题。我们首先确定了一组 DNN 的族群，使得由这些深度学习 (DL) 过程所获得的产生出算子可以达到最佳的泛化性能。接下来
PDFa month ago
离线策略学习中对规范化重要性采样的悲观性统一 PAC-Bayesian 研究
通过引入一种全面的 PAC-Bayesian 框架来研究规范化重要性权重，我们提出了一个可验证的 PAC-Bayesian 泛化界限，该界限广泛适用于常见的重要性权重规范化方法，从而在单个框架内进行比较。我们的实证结果挑战了常见的认知，证明
PDF2 months ago
使用在线批量转换的相关数据泛化界限
我们使用在线到批次转换范例，给出了从依赖数据源中获取的样本训练的统计学习算法的泛化界限，包括期望值和高概率。我们表明，统计学习器在依赖数据环境中的泛化误差等同于独立同分布环境中的泛化误差，除了一个依赖于底层混合随机过程的衰减速率且与统计学习
PDF2 months ago
不断增长数据的自适应数据分析
数据重复使用中存在过拟合和统计结果的有效性方面的挑战。过去的研究表明，通过不同 ially private 算法与数据交互可以减轻过拟合，实现最坏情况下的泛化保证，并具有渐近最佳的数据要求。然而，之前的工作假设数据是静态的，无法适应数据随时
PDF2 months ago
因果回归的泛化界限：见解、保证和敏感性分析
基于泛化界限的理论，我们提出了一种基于改变度量不等式的全新方法，能够紧密地将模型损失与人口中治疗倾向的偏差联系起来，并证明其在有限样本上的有效性，即使在隐性混杂因素和阳性违反的情况下也能成立。我们在半合成和实际数据上验证了我们的界限，展示了
PDF2 months ago
ICMLPAC-Bayesian 知识图谱表示学习的一般化界
在这篇论文中，我们提出了一种名为 ReED 的通用框架，用于分析知识图谱表示学习方法的 PAC-Bayesian 泛化界限。我们的框架可以表达至少 15 种不同的知识图谱表示学习模型，并为 KGRL 中常用的技巧提供了理论依据，如参数共享和
PDF3 months ago
通信高效联邦学习的改进推广界限
本文通过探索泛化界限和表示学习来减少联邦学习的通信成本，首次展示了在非独立同分布的情况下，更少的聚合次数，更多的本地更新可产生更具一般化能力的模型，设计了基于泛化界限和表示学习分析的自适应本地步骤联邦学习算法 FedALS，通过对模型不同部
PDF3 months ago
深度神经网络的信息论泛化界
深度神经网络在实际应用中表现出卓越的泛化能力，本研究旨在通过信息理论的泛化界限来捕捉深度对于监督学习的影响和益处。通过从网络内部表示的训练和测试分布的 Kullback-Leibler（KL）散度或 1-Wasserstein 距离导出了两
PDF4 months ago
基于同态性的图神经网络泛化
通过分析图同态性的熵，我们提出了一种新的视角来研究图神经网络的泛化能力，并通过将图同态性与信息论度量联系起来，得出了适用于图和节点分类的泛化界限。通过我们提出的界限，能够捕捉到各种图结构的细微差别，包括但不限于路径、环和完全子图。通过图同态
PDF5 months ago
主动少样本微调
我们研究了大型神经网络在下游任务中的主动少样本微调问题。我们证明了少样本微调是传统主动学习、转导式主动学习的一种泛化，并提出了信息导向的转导学习（ITL）方法，该方法通过适应性采样来最大化对指定下游任务的信息获取。在一般正则性假设下，我们证
PDF5 months ago
通过分数型福克 - 普朗克方程推导重尾 SDE 的泛化界限
通过评估与所谓的分数 Fokker-Planck 方程相关的熵流，我们证明了重尾 SDE 的具有高概率的概括界限，无需包含任何非平凡的信息论术语，并发现了一个相变现象，这表明重尾可能有利也可能有害，具体取决于问题的结构。
PDF5 months ago
AAAI利用 Koopman 算子在时间领域之间进行泛化
我们通过对条件分布进行对齐得出新的理论结果，证明其能够减少泛化边界，同时通过应用 Koopman 神经算子解决时间域泛化问题，提出了 Temporal Koopman Networks (TKNets) 方法，并通过合成和真实数据集进行实证
PDF5 months ago
数字计算机突破维数诅咒：通过有限几何实现自适应边界
通过利用离散结构，研究表明在实际计算机上实现的模型中统计学习中的维度灾难被系统性地打破。我们得到了基于内核和深度 ReLU MLP 回归器的新的无维度率的广义界限，并使用新的非渐近测度集中结果导出，该结果在任意有限度量空间上的概率测度与其经
PDF6 months ago
通过学习学习算法实现更灵活的 PAC-Bayesian 元学习
我们介绍了一个新的框架，使用 PAC-Bayesian 理论来研究元学习方法。该框架相比以往的工作的主要优势在于它允许在任务之间的知识转移方面更加灵活。我们的框架的灵活性使其适用于分析广泛范围的元学习机制，甚至设计新的机制。除了理论贡献外，
PDF6 months ago
关于注意力层的词敏感性理解：通过随机特征的研究
通过对随机特征的原型设定研究词敏感性，我们展示了注意力层在自然语言处理任务中具有较高的词敏感性，同时更好地理解了为何注意力层适用于这些任务，从而揭示出它相比其他激活函数（如 ReLU）具有的优势。同时，我们将词敏感性的结果转化为泛化界限，验
PDF6 months ago
对抗训练的数据依赖稳定性分析
通过加入数据分布信息，我们提供了基于随机梯度下降的对抗训练的泛化界限，分析了数据分布的变化和对抗攻击的影响。
PDF7 months ago
多视角学习的 PAC-Bayesian 领域自适应边界
该论文在多视角学习环境中提出了一系列关于域适应的新结果，通过 Pac-Bayesian 理论分析泛化边界，结合了之前将多视角整合到域适应中所忽视的两种范式，并构建了一种适用于多视角域适应的新型距离，最后将新边界与之前的研究进行了对比。
PDF7 months ago
大型语言模型的非空泛化界
现代语言模型可以包含数十亿个参数，是否能够在训练数据之外泛化或者仅仅复述其训练语料库成为了一个问题。我们提供了针对预训练大型语言模型（LLMs）的第一个非虚空的泛化界限，表明语言模型能够发现适用于未知数据的规律。通过使用预测平滑的方法，我们
PDF7 months ago