Oct, 2023

利用类内相关正则化学习可重复的语音嵌入

PDF
TL;DR使用机器学习任务的有好的监督嵌入仅对所感兴趣的标签的变化敏感，并对其他混淆因素保持不变。我们利用测量理论中的重复性概念来描述这个属性，并建议使用类内相关系数 (ICC) 评估嵌入的重复性。然后，我们提出了一种新颖的正则化器，即 ICC 正则化器，作为对比损失的补充组件，引导深度神经网络产生更高重复性的嵌入。我们使用模拟数据解释了为什么 ICC 正则化器在最小化类内方差方面比单独使用对比损失更有效。我们实现了 ICC 正则化器，并将其应用于三个语音任务：说话人验证、声音风格转换和检测语音发音异常的临床应用。实验结果表明，添加 ICC 正则化器可以提高学习嵌入的重复性，与仅使用对比损失相比；此外，这些嵌入还可以提升这些下游任务的性能。
supervised embeddingrepeatabilityintra-class correlation coefficientcontrastive lossdeep neural networks
发现论文，激发创造
  • VICReg: 自监督学习的方差不变协方差正则化

    本文介绍了一种简单、易于解释的方法 VICReg，结合了方差约束、冗余降维和协方差正则化等策略，可以解决自我监督学习中模型输出恒定向量的问题，并能在图像表征学习等多个下游任务中达到与现有方法相当的性能水平。

    May, 2021

  • 隐身嵌入：在深度神经网络中利用嵌入空间进行模型正则化

    本文提出了一种新的方法，通过利用信息丰富的潜在嵌入及其高内类相关性，从同质样本的子集中创建虚拟嵌入，并使用这些虚拟嵌入来降低它们在潜在嵌入空间中的类间相似度，以达到模型规范化的目的且不需要昂贵的超参数搜索，并在两个流行和具有挑战性的图像分类数据集（CIFAR 和 FashionMNIST）上验证了方法的有效性。

    Apr, 2023

  • 说话人识别的统一超球嵌入

    通过增加训练和测试数据的方式，寻找嵌入空间维度的最优值，使用更有区分性的损失函数来提高文本无关说话人识别系统的识别和验证准确性，在不增加额外数据或使用更深和更复杂的模型的情况下，实验结果表明：（i）重复和随机时间翻转可以将预测误差降低高达 18%。（ii）较低维度嵌入更适合进行验证。（iii）使用所提出的逻辑边距损失函数导致具有最先进的标识和竞争验证准确性的统一嵌入。

    Jul, 2018

  • RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类

    该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

    Jun, 2024

  • 学习噪声不变表示以实现稳健语音识别

    本文提出了一种建议将干净示例和其表面扰动的对应物不仅映射到相同类别，而且映射到相同表示的不变表示学习（IRL）方法，该方法通过数据扩充有效地减少字符错误率，特别是在不同于训练期间所见的若干场景上。

    Jul, 2018

  • 通过对齐、均匀性和相关性重新思考原型对比学习

    本文引入 PAUC 方法来学习基于原型的对比表示，以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中，实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性，并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96％，在 ImageNet-1K 数据集上提高了 2.46％。

    Oct, 2022

  • 探索使用 ICA 的内部和外部语言一致性嵌入

    利用自由职业键功能鉴定多语种语义轴的一致性。

    Jun, 2024

  • 基于关系嵌入的小样本分类

    本研究提出了一种元学习方法，通过关系模式中 “观察什么” 和 “关注何处” 的方式，利用自我相关表示和交叉相关关注，在图像内和图像间学习关系嵌入，以解决少样本分类问题，并在 miniImagenet、tieredImageNet、CUB-200-2011 和 CIFAR-FS 等四个少样本分类基准测试中取得了一致的改进。

    Aug, 2021

  • 聚类内部：一种正则化 DNN 的隐式学习能力

    本文研究深度神经网络的正则化机制，提出其通过提取类别样本的有意义聚类来实现隐含的正则化，证明这种聚类测度可以准确预测不同超参变化下的泛化性能。

    Mar, 2021

  • 基于流形的语言转换空间重新嵌入的无调参基于提示的分类

    利用无需调参的基于流形的重新嵌入的方法（LLE-INC）改进了基于提示的分类，并且在参数更新后可进一步提高分类性能。对 LLaMA-7B&13B 的实验结果表明，LLE-INC 是一种高效的无需调参的分类方法，适用于超大规模语言模型。

    Sep, 2023