May, 2024

与速率失真理论相协调的程序归纳

PDF
TL;DR我们通过在多个任务之间构建共享的程序库，提出了一种折中方法，其中在描述长度、误差和计算成本之间进行三向权衡，从而适应了心理表示采用编程形式的情况，该方法在仿真的旋律任务中表明共享程序库提供了全局权益，但这是以对教材敏感的代价为代价，这也是人类学习者的特点。最后，我们使用部分信息分解的方法生成能够引起更有效的程序库和更好泛化的训练教材。
mental programsrate distortion theorycomputational costssearch budgettraining curricula
发现论文，激发创造
  • 容量有限认知及强化学习的速率失真理论

    本文介绍了一种信息理论模型，它使用一个有限传输速率的通信通道作为决策代理行为的描述，并在此基础上研究了一种基于学习目标的容量有限的决策制定方法， 为实现高效的学习算法提供了贝叶斯遗憾界的保证。

    Oct, 2022

  • 从感知到程序：正则化、过度参数化和资瓷化

    研究了神经符号程序合成技术，通过神经网络将感知输入解析为低维可解释表示，然后通过合成的程序进行处理，探索了多任务学习，摊销推理，过度参数化和可区分策略的技术。

    Jun, 2022

  • 结构还是噪声？

    以速率失真理论为基础，提出一种自动理论构建的机制，其通过自然地区分规律性和随机性来实现。该方法基于一个简单的原则，即模型变量在尽可能保持未来和过去条件独立的前提下，进行构建。这种构建方式可以使任何一个过程的固有组织结构被准确地提取出来，并以最小的代价获得最佳的预测性能。此外，本文还提出了通过分析过程的因果压缩性能够提高理论构建的经验方法。

    Aug, 2007

  • 将感知扭曲的权衡引入一般信息源的速率 - 失真理论

    本文介绍了 Blau 和 Michaeli 最近引入的一个新概念，在信息理论中，将他们的 tradeoff 引入到有损源编码的速率失真理论中，并阐明了对于普遍信息源的信息速率、失真和感知之间的权衡。

    Aug, 2018

  • RD-DPP: 速率失真理论 meets 确定性点过程以实现多样化学习数据样本

    该研究提出了一种基于速率失真理论的选择具有任务导向的多级分类数据样本的新方法，称为 RD-DPP，可用于评估数据样本的情境感知多样性。此外，该研究观察到了基于确定性点过程的数据选择在样本累积过程中存在相变现象，从而设计出一种双峰方法以获得更大的多样性收益。

    Apr, 2023

  • 人工课程指导的指令优化

    应用结构化认知学习方法于现代大型语言模型的指令调优，通过提供高度结构化合成数据集，模仿人类教育的渐进和有组织性，可以显著提升语言模型在理解和响应复杂指令和任务方面的能力。

    Oct, 2023

  • 重新思考无损压缩：速率 - 失真 - 感知之间的权衡

    通过采用 Blau & Michaeli 2018 年提出的感知质量的数学定义，研究了速率、失真和感知之间的三重权衡，我们证明了该三重权衡的几个基本属性，并在一个玩具 MNIST 例子上进行了可视化说明。

    Jan, 2019

  • 通过原理生成进行程序归纳：学习解决和解释代数性文字问题

    通过生成答案原理，我们间接监督程序学习，从而解决代数字问题。

    May, 2017

  • 语义沟通的速率 - 失真 - 感知理论

    通过研究符号畸变和语义感知限制下的语义通信数据率，提出了可实现的区域，并证明了一种随机编码方案可以实现该区域。对于给定的畸变和感知限制，推导了二进制语义信息源的闭合可实现速率，并验证了理论观察的实验结果。

    Dec, 2023

  • 关系知识蒸馏

    该论文提出了关系知识蒸馏方法（RKD），用于将数据示例之间的相互关系转移给学生模型，进而提高其在度量学习等任务中的性能，尤其是在标准基准数据集上取得了超越其老师的表现。

    Apr, 2019