- 随机有多随机?评估 LLMs 硬币翻转的随机性和人类性
LLMs 在生成二进制随机序列的背景下,探索了它们对随机性的态度、存在的问题及其如何失败,发现 GPT 4 和 Llama 3 在几乎所有测试中表现出和加剧人类偏见,而 GPT 3.5 则展现出更多的随机行为,这种随机性与人类行为二分的特征 - GNN 社群检测中评估不确定性:随机性量化措施比较
Graph Neural Networks 在无监督社区检测中的增强能力归因于它们能够编码图的连通性和特征信息空间,该研究讨论了性能基准、超参数优化和随机性对结果的一致性和质量的影响。
- 变分基于测量的量子计算用于生成模型
基于测量的量子计算(MBQC)利用量子测量的固有随机性设计量子算法,以及利用 MBQC 中的随机副产品作为计算资源来进行的生成建模任务的算法设计工作。我们提出了一种带有控制参数的变分 MBQC 算法,可以直接调整计算中接纳的随机程度。我们的 - 一种模型评估的性能特征曲线:在信息扩散预测中的应用
社交网络上的信息传播预测旨在预测消息的未来接收者,在营销和社交媒体方面有实际应用。我们提出了一个基于信息熵的度量来量化扩散数据的随机性,然后发现了随机性和模型预测准确性之间的缩放模式。该性能特征曲线提供了一种系统评估模型性能的新方法,为模型 - 在均匀空间中随机性和对称性之间的量子拉锯战
量子信息中对称性与随机性的关系以及其在同质空间中的应用。
- 训练动力学的潜在状态模型
模型训练中随机性的影响,如何解释数据顺序和初始化的差异,以及如何解读训练动态和不同轨迹所特征的相变,使用隐马尔可夫模型对神经网络训练过程进行建模,研究相变和减速收敛的潜在 “绕道” 状态。
- 条件感知质量保持的图像压缩
我们提出了条件感知质量,即在用户定义的信息上进行的感知质量扩展,并基于理论结果提出了条件感知质量保持压缩的最优框架。实验结果表明,我们的编解码器成功地在所有比特率下保持高感知质量和语义质量,并提供了所需的共同随机性的下界,解决了关于是否应将 - 随机线性分类器的概率不变学习
通过利用随机性设计的随机线性分类器 (RLCs) 类别的二元分类模型,可以在使用较少资源的同时近似任何 (光滑的) 函数并保持对紧凑群转换的不变性。
- 机器学习需要自己的随机性标准:随机平滑和基于伪随机数生成器的攻击
本文考虑攻击者是否可以只利用制造机器学习模型所依赖的随机性来破坏模型的安全性, 发现攻击者能够利用 Randomised Smoothing,一种用于提高模型抵抗对抗性攻击和量化不确定性的方法,背后基于对高斯噪声采样,来进行欺骗性认证,而且 - 学习中的可复制性和稳定性
本文研究了机器学习中的可复制性问题,提出了全局稳定性和列表可复制性的概念,并表明在除一些特殊情况外,大多数算法必须具有一定的随机性以实现可复制性。
- 随机性的无限
本文从随机性的定义出发,从应用的角度分析随机算法的结果,探讨了随机性的源和性质,发现了无限和随机性之间的关系,并从系统交互的角度总结了随机性的属性,即由随机生成的序列组成的集合具有渐进完备性质,最后强调了随机性在人工智能研究中的重要性。
- 在噪声存在的情况下分析 Angluin 的 L * 算法的鲁棒性
通过利用随机性来降低噪音、生成 DFA,主要应用于有限状态机,可以通过学习算法来减少噪音并恢复原始 DFA,但在结构化噪音下表现不佳,并且随机性生成的系统几乎肯定具有非可递归枚举语言。
- AAAILTU 攻击用于会员推理
本文针对在训练器和训练模型公开发布的情况下对预测模型,如机器学习分类器进行成员推理攻击的问题,提出一种新颖的防御性机制,包括预防过拟合和加入一定的随机性。通过 QMNIST 和 CIFAR-10 数据集的实验证实了本文的理论结果。
- 神经网络预测的可再现性研究
研究神经网络模型中随机性导致的模型预测差异问题,提出最小熵正则化和协同蒸馏的两种方法用于减少模型预测差异并提高准确性。
- 测试随机性
本文通过回顾已知的在线检验方法,重点研究基于依从性鞅的方法,强调了概念和实践方面,并阐述了有效性和效率方面的结果。
- ECCV通过随机自集成实现鲁棒神经网络
本文提出了一种名为 RSE 的新型防御算法,利用随机性和集成两个重要概念,通过向神经网络中添加随机噪声层以防止强梯度攻击,并对随机噪声预测进行集成以稳定性能,从而保护目标模型。该算法在真实数据集上表现非常优异,能够有效防御对神经网络的攻击。
- 对抗环境下的布隆过滤器
本研究通过引入敌对模型,研究了布隆过滤器在不同 adversary 情况下的表现,并证明了它与密码学的紧密联系。
- 稀疏矩阵分解
该研究探讨如何将矩阵分解为多个稀疏矩阵,提出了一种在随机性和稀疏性假设下的算法,该算法能够恢复深度学习网络中各层之间边的结构、隐藏单元的值,矩阵分解、稀疏恢复、字典学习与深度学习之间具有密切关联。
- 时变图和动态网络
本文旨在将分布式计算文献中的各种概念、形式主义和结果整合到一个统一框架中,我们将其称为时间变化图表(TVG),并概括性地介绍它们的分类和应用。
- 循环矩阵的 Johnson-Lindenstrauss 引理
本研究证明了在具有循环结构的矩阵中存在 Johnson-Lindenstrauss 引理的变体,该方法可以最小化使用的随机性,易于实现并提供良好的运行时间,但代价是目标空间的维数较高且为 O (ε^{-2} log^3n)。