Jul, 2024

从分类的角度编码智能

PDF
TL;DR编码和智能密切相关，基于类别论的视角提出了 “编码为智能” 问题，并推导了一个通用框架来理解现有方法。该框架帮助识别解决多任务／应用的最小描述长度（MDL）优化问题的挑战和关键元素，提供了构建更智能系统的机会。通过系统回顾最近在数据、模型和任务层面上优化 MDL 问题的方法以及初步实验结果，提供了潜在的解决路径和技术方向。讨论还探讨了进一步的方向和存在的问题，并与特征学习中的实践相互印证，揭示了大基础模型的现象和见解。
发现论文，激发创造
  • 类别学习所引发的神经几何信息论研究

    通过信息论方法，本文研究了类别学习引发的表示效率问题，并提出了相应的解决方案。研究结果表明，最小化编码成本等价于最大化类别集合与神经活动之间的互信息，而该互信息可通过两个项的求和来刻画。此外，通过数值实例展示了编码神经群体的 Fisher 信息与类别边界的对齐关系。

    Nov, 2023

  • 神经编码智能综述：范式、进展与未来

    神经编码智能 - 利用深度学习理解、生成和优化代码 - 在整个社会中具有巨大的潜力。这篇调查综述了代码智能领域的技术进展，并系统地回顾了过去几年来研究社区对这一领域的关注。

    Mar, 2024

  • 代码智能的深度学习：调查、基准和工具包

    本文综述了深度学习在编码智能方面的应用，包括代码表示学习、深度学习技术和应用任务，并提供了一个适用于基于深度学习的编码智能模型快速原型设计的开源工具包。同时，公开发布了源代码和数据资源，以促进现有和未来编码智能模型的评估和比较，并指出了几个具有挑战性和有前景的研究方向。

    Dec, 2023

  • 自学或学以致用？自编码用于广义类别发现

    通过优化的方式，我们提出了一种新颖、高效且自我监督的方法，能够在测试时发现以前未知的类别。我们的方法通过将最短长度的类别编码分配给每个数据实例来捕捉现实世界数据集中普遍存在的隐含类别层次结构，从而增强了对类别细粒度的控制，使我们的模型能够熟练处理细粒度类别。实验证明了我们解决方案在管理测试时的未知类别方面的有效性，并且我们提供了一个理论基础证明其最优性。

    Oct, 2023

  • 一种一般智能的分类框架

    本文提出了一个基于范畴论的分类框架，其中介绍了自我状态意识的概念作为自我意识的类比，并使用图表进行代理间通信，并通过将目标设计为自我状态函数的输出来保证模型的友好性。

    Mar, 2023

  • 深度学习的基本组成：范畴论方法

    这篇论文提出了一种基于范畴论语言的深度学习的新数学基础，通过系统化现有方法并将其概念统一到一个框架中，研究了参数化性和双向性这两个主要性质，并将其应用于 backpropagation、神经网络架构和监督学习的建模中，提供了一个统一和组合的框架。

    Mar, 2024

  • 在语言模型中桥接信息论压缩与几何压缩

    通过分析语言模型（LM）中的压缩方法，从几何和信息论的角度，我们证明这两种视角高度相关，表明语言数据的内在几何维度可以预测其在 LM 下的编码长度，进而表明语言信息压缩能力是成功 LM 性能的重要组成部分。同时，我们还评估了一系列首次应用于语言数据的特征维度估计器，表明只有其中的一部分能够概括信息论压缩、几何压缩和适应性关系。

    Oct, 2023

  • CatCode: 基于代码和文本混合的 LLMs 综合评估框架

    使用范畴论作为框架，提出了一个名为 CatCode 的自动评估框架，可以全面评估大语言模型在编码能力方面的表现。

    Mar, 2024

  • 范畴深度学习：架构的代数理论

    我们提出了一个关于通用框架，用于指定和研究深度学习架构的难题的见解。我们认为目前为止的关键尝试缺乏一个能够将模型必须满足的约束与其实现进行协调的桥梁。我们的提议是应用范畴论 —— 更具体地说，是参数化映射的范畴论，作为一个单一的理论，优雅地包含了这两种类型的神经网络设计。为了支持我们的观点，我们展示了这个理论如何恢复由几何深度学习引起的约束，并介绍了从神经网络的多样化领域中提取的许多架构的实现，如递归神经网络。我们还说明了这个理论如何自然地编码计算机科学和自动机理论中的许多标准结构。

    Feb, 2024

  • 机器视觉视频编码：协作压缩和智能分析的典范

    本文旨在探讨机器视觉中的视频编码新领域 ——Video Coding for Machines (VCM)，并系统地回顾了从 MPEG 标准化的独特视角出发的视频压缩和特征压缩的最新技术。最终提出了潜在的 VCM 解决方案，并探讨了未来的方向。

    Jan, 2020