representational spaces | BriefGPT

关键词representational spaces

搜索结果 - 5

EMNLP子空间编年史：语言信息在语言模型训练中的产生、转变和交互
利用信息论探测套件，我们分析了 9 项任务，涵盖语法、语义和推理，在 2 百万次预训练步骤和 5 个种子中，识别了关键学习阶段，语法知识在全面训练的 0.5% 后迅速获得，持续性能改善主要来自对开放域知识的获取，而语义和推理任务则受益于后期
PDF8 months ago
Net2Brain: 一种用于比较人工视觉模型与人脑反应的工具箱
Net2Brain 是一个用于比较深度神经网络（DNN）和人脑记录的表征空间的图形和命令行用户界面工具箱，可以提取超过 600 个 DNN 的激活，计算代表性的差异矩阵（RDMs）并将其与大脑记录进行比较，从而测试认知神经科学的假设。
PDF2 years ago
自监督语音模型是否具有类人感知偏见？
通过研究 wav2vec 2.0，HuBERT 和 CPC 三种最先进的自监督模型的表示空间，与法语和英语人类听众的感知空间作比较，我们发现 CPC 模型具有微小的母语语言效应，但 wav2vec 2.0 和 HuBERT 似乎发展出了一种
PDF2 years ago
ACL预训练语言模型的一致性测量和提升
研究了预训练语言模型的一致性，发现它们在事实知识方面缺乏一致性，且表现良莠不齐；提出了一种改善模型一致性的方法，并在实验中证明其有效性。
PDF3 years ago
深度神经网络的表示距离学习
该研究提出了一种称为 “代表空间距离学习” 的方法，该方法可用于将一种深度神经网络模型学习到的内部表现空间应用到另一种模型之中，通过该方法可将学生模型的表现空间序列逐步拟合为更接近于教师模型表现空间的序列。通过将学生模型的表现空间逐渐接近于
PDF9 years ago