EMNLPSep, 2018

点积 HSIC：一种稀疏语言表达的线性时间核共现规范化方法

PDF
TL;DR本文提出了一种基于 Hilbert-Schmidt 独立准则（HSIC）的新内核共现测量方式，称为 pointwise HSIC（PHSIC），可用于稀疏语言表达（例如句子），并且学习时间非常短，是点间互信息（PMI）的替代方法，并且在对话响应选择任务中，PHSIC 比基于 RNN 的 PMI 快几千倍的学习速度，同时准确性也更好。
发现论文，激发创造
  • 平移不变核 HSIC 估计的极小最大速率

    在本研究中，我们证明了具有连续有界平移不变特征核的 Borel 测度中，Hilbert-Schmidt 独立性准则（HSIC）在 R^d 上的最优最小化估计率为 O (n^(-1/2))，从而证实了许多经常使用的估计器（包括 U 统计量、V 统计量和 Nystrom-based 统计量）在 R^d 上的最小化最优性。

    Mar, 2024

  • 核独立性检验的一种更简易的一致性条件

    本文使用希尔伯特 - 施密特独立准则（HSIC）作为检验统计量，构建了独立性的统计检验方法，通过分析联合分布的嵌入和边缘分布乘积的嵌入之间在再生核希尔伯特空间中的距离来定义 HSIC。通过本文的研究结果表明，即使在联合分布的核函数不具有特性的情况下，在各自的域上的边缘核函数具有特性的基础上，也可以构建基于 HSIC 的独立性统计检验，并保持其一致性。

    Jan, 2015

  • 希尔伯特 - 施密特独立准则下的强健学习

    使用 HSIC 作为损失函数学习鲁棒回归和分类模型，以期望产生具有良好概括性能力的模型用于处理无监督共变量漂移任务，实验表明其优于标准损失函数取得最新成果。

    Oct, 2019

  • 核最大化依赖下的自主学习

    本研究从统计相关性的角度探讨自我监督学习方法，提出了一种基于 Hilbert-Schmidt 独立性准则（SSL-HSIC）的自我监督学习方法，该方法最大化与图像表示转换和图像身份的相关性，并将那些表示的核化方差最小化。实验表明，该方法在 ImageNet 数据集上的表现可以匹敌当前的最佳方法。

    Jun, 2021

  • 随机过程的核独立性检验

    文中提出了一种新的非参数化方法用于测试两个随机过程之间的独立性，使用了 Hilbert Schmidt 独立性准则（HSIC）作为检验统计量，该方法针对从随机过程中绘制的样本计算 HSIC 的渐近行为得到了建立，并且推荐了一种可替代的 p 值的一致估计，与线性方法相比，该新测试程序可以发现被线性方法忽略的依赖关系，而先前的自举程序会返回大量错误的结果。

    Feb, 2014

  • 相对依赖性的低方差一致性测试

    使用 Hilbert-Schmidt 独立准则（HSIC）测量依赖性，建立了新型非参数统计假设检验方法，用于确定一个源变量对于两个候选目标变量的依赖性。测试表明第一个依赖度量是否显著大于第二个，其结果表明建立这些 HSIC 统计数据之间的协方差计算比独立 HSIC 统计量的子采样法更有效。

    Jun, 2014

  • 关于特征选择中核依赖最大化的限制性研究

    通过反例，我们证明了使用 Hilbert-Schmidt 独立性准则（HSIC）来进行特征选择的基本原理是错误的，而且通过 HSIC 的最大化可能会忽略掉关键特征。

    Jun, 2024

  • 核化哈希码表示法用于关系提取

    本文介绍一种将 Kernel 方法和 KLSH 技术相结合用于 NLP 结构分类的方法，并在生物医学关系提取数据集上进行了实验，结果表明该方法具有很好的准确性和高效性。

    Nov, 2017

  • Matrix Profile XXVII：一种新的长时间序列比较距离度量

    介紹了 PATTERN REPRESENTATION COMPARISON IN SERIES (PRCIS)，一種長時間序列的距離度量方法，可利用近期對時間序列用字典縮略的進展，展示其對多種任務和數據集的實用性。

    Dec, 2022

  • 基于 PMI 矩阵逼近的简单语言模型

    该研究介绍了一种新的学习语言模型的方法，通过训练模型估计词 - 上下文点间互信息（PMI），并通过 PMI 在测试时求出所需的条件概率。

    Jul, 2017