- 分布式学习能力与稳健性
对于分布学习问题,我们研究了可学习性和鲁棒(或不可知)可学习性之间的关系,发现与其他学习设置(例如函数类的 PAC 学习)相反,概率分布类的可实现学习性并不意味着其不可知可学习性。我们进一步研究了什么样的数据损坏可以破坏分布类的可学习性以及 - ACL易于语言模型的是哪些语言?从学习概率正则语言的角度看
大规模语言模型的学习能力主要集中在概率语言的学习上,其中正则语言模型的等级和样本字符串的预期长度是学习能力的重要预测因子。
- 非对称数据的对称核函数:一个与数据无关的可学习性界限
利用高度理想化的数据测度所关联的特征值和特征函数,可以限制与现实数据上可学性相关的理论下界。作为示例,我们给出了与自然语言处理中的泛化变换器相关的核的复制头样本复杂性的理论下界。
- 神经网络在流形假设下学习的困难性
通过对流形假设的研究,我们发现神经网络的可学习性与流形的曲率、正则性以及数据流形的体积之间存在紧密的关联;流形的有限曲率限制了学习问题的可解性,而数据流形的体积增加则会提高网络的可学习性。此外,我们还探讨了在真实世界数据中常见的具有异质特征 - 高维多指标模型中弱可学习性的基本限制
学习性能的理论边界是该研究论文的重点,特别关注使用一阶迭代算法弱恢复低维结构所需的最小样本复杂度,在样本数量与协变量维度成正比的高维情况下,通过非线性变换来研究神经网络的特征学习,探讨多指数模型的各种算法、计算相变以及近似传递信息算法的最优 - 可复现学习的计算景观
我们研究算法可复现性的计算方面,这是由 Impagliazzo、Lei、Pitassi 和 Sorrell [2022] 引入的稳定性概念。通过一系列与可学习性的统计联系的最新研究,如在线学习、私有学习和 SQ 学习,我们旨在更好地理解可复 - 从统计学习浅层量子电路的噪声容忍性及量子伪随机性的成本
该论文研究了近期对未知量子电路的可学习性,证明了用于学习量子过程的量子统计查询的自然鲁棒性,并提供了一种有效的方式来评估各种统计噪声,为开发噪声容忍算法提供了强大的框架。我们对具有小的查询复杂度额外开销的常深度量子电路的学习算法进行了适应, - 学习低次量子对象
通过量子对象、量子通道、多项式、可学性和量子酉矩阵的查询,我们展示了学习低阶量子对象的问题的解决方法。
- 从两两比较查询中学习线性效用函数
线性效用函数从成对比较查询中的可学习性研究。具体来说,我们考虑两个学习目标:首先是预测成对比较的样本外响应,其次是近似恢复效用函数的真实参数。我们证明在线性效用在被动学习设置下是高效可学习的,无论查询响应是否受到噪声干扰,并且在分布足够 “ - 多项式的超非奇异分解及其在鲁棒学习低次 PTF 中的应用
我们研究了在存在恶意污染的情况下低次多项式阈值函数(PTFs)的高效学习性能。我们的主要算法结果是在强污染模型下,基于高斯分布的概念类的多项式时间 PAC 学习算法,具有 $O_{d, c}(ext {opt}^{1-c})$ 的误差保证, - 一种广义 Borda 准则下最优和自适应的非平稳对决多臂老虎机算法
对比辩论问题中实现严重非稳态度的底线非希望恶化情况下,解决 Borda 动态后悔上界问题的技术,揭示了 Condorcet 与 Borda 后悔目标在对比辩论问题中学习到严重非稳态度的根本差异。
- 有界无穷宽神经网络的深度分离
研究无穷宽度神经网络中的深度分离,该复杂性由权重的整体平方 L2 范数控制(网络中所有权重的平方和)。在以往的深度分离结果中,关注的是宽度方面的分离,这样的结果无法揭示深度是否决定了在网络宽度无限时是否可能学习出具有良好泛化性能的网络。本文 - 单个儿童语言输入对可学习性的系统调查
该研究探讨了使用单个儿童语言输入子集训练语言模型,以形成有意义的句法和语义表征,发现这种方法的学习性强度和可靠性。
- 优化上下文示例:是否为 NICE 的?
大型语言模型通过上下文学习与优化可以在广泛的任务上取得显著效果,然而,该研究调查了当提供任务特定指令时,优化上下文示例的必要性,并发现对于某些任务,对上下文示例进行优化产生递减收益,为此引入了用于测量任务可学习性的度量方法,从而提供了一种启 - 关于语言模型水印可学习性的研究
通过水印技术对语言模型生成的文本进行统计检测,有助于在语言模型的负责部署中应用,文章提出了水印蒸馏的方法,通过训练学生模型模仿使用解码器水印技术的教师模型,研究发现模型能够学会生成高可检测性的水印文本,但也存在一些限制。
- LoBaSS:衡量监督微调数据的可学习性
利用数据的可学习性作为选择模型数据的主要标准,研究通过引入损失为基础的 SFT 数据选择方法(LoBaSS)来确保数据选择与模型能力的匹配,从而提高对话和数学领域的模型能力。LoBaSS 方法在仅使用总训练数据的 6% 的情况下,超过全数据 - POVM 假设类的脂肪粉碎、联合测量和 PAC 可学习性
我们通过建立匹配的 PAC 可学习性的必要和充分条件,并相应地给出样本复杂度界限,对量子测量类别的可学习性进行了表征,其设置下学习者只能访问已准备的量子态。
- 学习具有噪声的光学物理不可复制函数的多项式界限及与学习误差的关联
光物理不可克隆函数(PUFs)是可以在任意精度下以任意高概率进行学习的类,即使在存在噪声的情况下也能做到,并且只需要多项式数量的挑战 - 响应对和多项式限制的计算能力,这在对噪声和挑战向量的分布做了温和的假设之下成立。
- 本体介导查询的唯一可区分性和可学习性的时态化
本文研究了基于时间本体论的查询是否也具有与非时间本体论查询相似的特性可识别性和学习性, 并提供了针对已有结果何时可以从非时间查询转移到时间查询的系统性转换结果。
- $L^\infty$ 重心核希尔伯特空间的可学习性
本文分析了在 L^∞范数下再现核希尔伯特空间(RKHS)的可学习性,与核方法和随机特征模型在安全和安全关键应用中的性能密切相关,建立了样本复杂度的下限和上限,并证明了在球面上的点积核下,如果 β 与输入维度 $d$ 无关,则可以使用多项式样