information-theoretic bound | BriefGPT

关键词information-theoretic bound

搜索结果 - 5

基于原则的偏好贝叶斯优化
通过使用偏好反馈，我们构建了黑盒函数的置信区间，并提出了一种乐观算法，该算法具有有效的计算方法，并且在累积遗憾方面具有信息理论上的界限，从而使我们能够设计出具有收敛速率保证的估计最佳解决方案的方案。实验结果表明，我们的方法在高斯过程、标准测
PDF5 months ago
类别通用化误差：一种信息理论分析
现有的监督学习泛化理论通常采用整体方法，并提供整个数据分布的期望泛化界限，这暗示了模型对所有类别的泛化情况相似。然而，在实践中，不同类别之间的泛化性能存在显著差异，这不能被现有的泛化界限所捕捉。本文通过在理论上研究类别泛化误差来解决这个问题
PDF6 months ago
一种基于上下文的突现学习理论：隐式结构归纳
该研究探讨了大型语言模型的上下文学习能力及其理论机制，提出了基于自然语言数据中组合操作的信息理论边界，并从语言学角度验证了模型输出中间步骤的成功经验。研究表明，在缩放参数和数据并提示输出中间步骤时，模型能在多项任务中进行有效的上下文学习，这
PDFa year ago
伪标记中选择性的无监督多源自由领域自适应的优势
该研究提出了一种利用信息论界限和特征对齐技术，将目标数据划分为伪标记子集和无标记子集以实现平衡的无监督域自适应方法，取得了比现有方法更好的性能表现。
PDF2 years ago
针对零阶对抗性 Bandit 凸优化的改进遗憾
以信息论为基础，改进探索性分布以在零阶对抗性 bandit 凸优化的 minimax regret 的信息理论上界上证明其为 O (d^{2.5} 根号 n 对数 (n))，并提高 Bubeck 等人 (2017) 的 O (d^{9.5}
PDF4 years ago