- 基于 Transformer 的 ASR 表示中性别的编码
使用线性消除的方法,本研究探讨了两个基于 transformer 的 ASR 模型 ——Wav2Vec2 和 HuBERT 中性别信息的编码和利用,并证明了从 ASR 模型的每一层中移除性别信息的可行性。此外,分析表明最终层中的第一帧和最后 - 朴素贝叶斯分类器和分类变量的一位有效编码
通过错误地将一个 $K$ 值分类变量编码为 $K$ 位二进制数,将其用于朴素贝叶斯分类器,本文研究了这种编码方式的后果,从而得出了一个伯努利乘积(PoB)假设,而不是正确的分类朴素贝叶斯分类器。通过数学和实验分析了两种分类器之间的差异。在从 - 透过刺激时序在体外神经网络上的信息编码与解码
通过研究刺激时间作为一种编码方法,本研究探讨了在输入和解码数据时寻找合适的编码和解码方案的主要挑战,并确定了产生线性可分离脉冲响应的刺激时机的界限和敏锐度。同时,我们还研究了线性解码器的最佳读取参数,包括时期长度、时间间隔和时期偏移量,并发 - 记忆痕迹:Transformer 是否为图灵机?
通过 LLM 对 Tulving-Watkins 测试的重新访问,评估基础模型是否完全实现了这类心理模型。
- 编码分类数据:除了一位有效编码,还有更热门的编码方式吗?
在一个来自 OpenML 仓库的大规模分类问题样本中,通过对实验数据拟合线性混合效应模型,我们发现在多类别任务中,独热编码和 Helmert 对比编码优于基于目标的编码器。在二分类任务中,不同的编码方案之间没有显著差异;然而,独热编码对结果 - 抽象辩证框架的编码转换为高阶逻辑
提出了一种将抽象辩证框架及其语义编码为经典高阶逻辑的方法,通过证明助手 Isabelle/HOL 来正式编码并证明重要性质和语义关系。这种方法允许在统一逻辑环境中使用自动化和交互式推理工具对抽象辩证框架进行计算机辅助分析。示例应用包括形式分 - EMNLP4 和 7 位标记的投射和非投射依赖树
引入了一种将任何工程性依赖树表示为一系列 4 位标签(每个词一个标签)的用于解析的编码方法,其标签的位表示(1)是否为左或右从属关系,(2)是否为其父节点的最外层(左 / 右)从属关系,(3)是否具有左子节点,和(4)是否具有右子节点。在多 - 可解释的光谱变分自编码器(ISVAE)用于时间序列聚类
我们提出了一种新颖模型,它在变分自编码器(VAE)的开始处引入了一个可解释的瓶颈 —— 称为滤波器组(FB)。这种安排迫使 VAE 注意输入信号中最有信息的部分,促进了一个具有增强解释性和集群性能的新编码 $f_0$ 的学习,而与传统的潜在 - 聊天如图:为大型语言模型进行图编码
通过对图结构数据进行编码,探究大型语言模型中图推理任务的性能提升,展示了编码器选择对图推理任务的影响,以及正确选择编码器能够提升性能的洞见。
- 最小充分机器人大脑的数学特征化
本文研究了通过内部系统(机器人算法或软件)与外部系统(机器人本体及其环境)之间的交互所获取信息的编码和处理的下限,算法或软件的最弱内部系统能够实现被动(过滤)和主动(规划)任务,并介绍了信息转换系统的概念,证明了最少信息转换系统在合理的等效 - 结构化对话篇章分析
该篇论文介绍了一种基于结构化编码和矩阵树学习算法的对话语篇分析方法,该方法通过编码和解码进行分析,不依赖手工特征,并在实验中达到了新的最优效果。
- 序列音乐生成任务中不同音高和节奏网格编码方法的比较分析
本研究针对音乐生成任务中的基本音高和节拍两个特征进行综合分析,考察了不同编码方式对一个基于序列的乐曲生成模型性能的影响,结果表明类 - 八度编码在音高相关的指标上显著优于 MIDI 编码;密集的小节度量栅格和多标记栅格提高了节奏质量,但也面 - 透过图像特征的迷雾揭示位置信息模式的面纱
本研究提出新的测量位置信息强度的度量方法,指出现有度量方法存在局限性,证明采用现有或新的页面方案,均主要是学习因素,而非其本身特征,并提供了 PPP(Padding 产生的位置信息模式)的定义和可视化方法。
- 对话处理的在线共指消解:提高即时对话中的提及链接
本文提出了一种针对在线解码的指代消解方向,其针对包含对话在内的实时生成输入的场景,在每个对话轮次上,该模型接受一个话语和其过去的语境,然后查找当前话语中的提及以及它们的指代。该文章提出了基线和四个增量更新的模型,适应于提到链接范式的新设置, - ICLR分析语言模型中个别神经元的陷阱
本文讨论了使用外部探针的方法评估神经元与语言相关性的方法,指出其存在的问题并提出新的评估方法。
- 神经架构搜索编码的研究
本文研究神经架构搜索的编码方式对性能的影响,通过理论推导和实验比对,发现编码方式是设计上的重要决策,对性能有显著影响。
- 学习解离因果机制的元转移目标
利用元学习方法,基于快速适应新分布的速度,学习因果结构,包括因果关系的参数化,模块化和编码等方面,以提高对非标准干预的快速适应能力和降低重学需要的信息量。
- 非线性信息瓶颈
该研究提出了一种方法,通过神经网络来实现将任意分布的离散和 / 或连续变量进行信息瓶颈编码和解码,并允许使用非线性映射,该方法通过一种新颖非参数上界来实现最大信息提取,相较于其他方法在多个真实数据集上表现更好。
- 利用 Noiselet 编码的多通道压缩感知 MRI
本文介绍噪声基编码方案应用于多通道 MRI 数据采集,采用数学理论设计噪声编码器优化传统编码器的测量矩阵与稀疏变换矩阵间的不一致性与 RIP,并在实验中证实其在提高图像恢复精度和加速因素方面的显著性。