- 通过迭代学习和简单嵌入改进组合泛化能力
通过使用基于简单嵌入的模型上的迭代学习,我们改进了深度网络的组合泛化能力,并通过基于科尔莫哥洛夫复杂性的组合性分析展示了这种改进在视觉任务和实际分子图预测任务中的有效性。
- 模拟、演化和随机循环神经网络的改进柯尔莫哥洛夫复杂性
本文研究了模拟、演化和随机神经网络的超图灵计算能力,通过其真实权重、演化权重和真实概率的科尔莫哥罗夫复杂性进行细致的表征,并在不同网络类型间建立了无限层次的复杂性等级。通过提供这些层次结构的存在和示例,描绘了聚类越来越复杂的函数类构造它们的 - 基于 GPT 压缩的近似人类化少样本学习
利用生成式预训练模型进行信息压缩,估计少样本学习的最优信息距离,以及直接应用于定量文本相似性测量的方法。
- 无免费午餐定理,科尔莫戈洛夫复杂度,以及归纳偏见在机器学习中的作用
本文研究了在监督学习中 “没有免费午餐定理” 的适用性,进一步证明了神经网络在数据压缩和处理上也有低复杂性的偏好,从而证明了深度学习中统一问题的趋势。
- 枚举压缩与收益
研究枚举的可压缩性及其在可计算可枚举集合相对 Kolmogorov 复杂度方面的作用,并针对压缩的强和弱形式研究其增益,证明了任何可计算可枚举集合都具有强压缩和无增益弱压缩,并研究一种位置游戏以深入理解强无增益压缩。
- 线性遗传规划的表型搜索轨迹网络
本研究通过可视化遗传编程系统的搜索轨迹作为基于图形的模型,探究基因型和表型空间中的搜索轨迹,特别是通过中性突变,帮助我们更好地理解进化的进展和算法行为。同时,通过量化表型特征,包括其基因型丰度和科尔莫戈洛夫复杂性,我们将这些量化指标与搜索轨 - Solomonoff 预测的困境
Solomonoff 预测的框架将先验概率指派到假设上,这些假设与其 Kolmogorov 复杂度成反比。然而,Solomonoff 先验相对于通用图灵机的选择是有问题的,同时,Solomonoff 先验也是不可计算的。不过,对这两个问题有 - ICLRDNNs 会选择哪些快捷提示?—— 基于参数空间的研究
本文介绍了一系列实验来深入理解深度神经网络中的快捷学习和其影响。作者设计了一种学习 WCST-ML 的训练过程,证明了在相同的机会下某些提示优先于其他提示,这可以通过 Kolmogorov 复杂度来解释。作者的研究基于 DSprites 和 - 使用 MDL 区分因果和混杂问题,我们不是你的真实父母
本文根据 Kolmogorov 复杂性提取因果关系方法,利用最小描述长度原则模型比较非潜变量模型和潜变量模型,采用概率 PCA 方法寻找成因的潜在因素,在真实和合成的数据实验中表现良好,准确性与置信度相辅相成。
- 不良通用先验和最优性概念
讨论了算法信息论中普适图灵机的选择对于 AIXI 的影响,研究结果表明,没有普遍不变定理。各种不幸或者对抗性的选择 UTM 的情况都会极大地干扰 AIXI 的行为,这意味着 AIXI 是一种相对论,完全取决于 UTM 的选择。
- 使用压缩算法分析蠕虫和网络流量
本文展示了基于 Kolmogorov Complexity 技术如何帮助分析互联网蠕虫和网络流量,通过压缩可以对不同类型的蠕虫进行聚类,识别未知的蠕虫二进制文件,并检测流量异常和攻击方式的变化,提出了两种新的 Snort 插件来实现我们的方 - 相似度度量
提出了一种基于 Kolmogorov 复杂性的新的 “归一化信息距离” 度量方法,证明它是度量,称之为 “相似度量”,并演示了两个应用:比较整个线粒体基因组并推断它们的进化历史以及完全自动计算 52 种不同语言的语言树。
- 算法统计
本文介绍了算法统计学、充分统计量和最小充分统计量的算法理论。它基于由统计模型和模型到数据编码两部分构成的两部分编码,它们可以是隐式或显式。同时,文章也强化和阐述了关于 “Kolmogorov 结构函数” 和 “绝对非随机对象” 的早期结果。