Mar, 2018

理解向量嵌入的功能性和维度性：分布假设、成对内积误差及其偏差 - 方差权衡

PDF
TL;DR本文提出了一个理论框架，以理解维度对向量嵌入的影响，并提出了 Pairwise Inner Product（PIP）loss，它是一种基于向量嵌入相似度的齐次不变量度量，用于捕捉向量嵌入之间的功能差异和维度的选择偏差 - 方差权衡问题，并发现了向量嵌入的鲁棒性与前向稳定性，并展开实证研究。
发现论文，激发创造
  • 词嵌入的维度性

    通过提出 Pairwise Inner Product (PIP) loss 提出了一种新的度量词嵌入非相似性的方法，并使用矩阵摄动理论揭示了词嵌入维度选择中的基本偏差 - 方差权衡，同时阐明了词嵌入过度拟合的鲁棒性。

    Dec, 2018

  • 高维度中的嵌入向量估计

    基于一种概率模型，研究了嵌入学习在离散数据中的可学习性，并提出了一种用于估计的低秩近似消息传递方法，探讨了样本数量、词项频率和嵌入相关性对概率分布的影响。通过对合成数据和真实文本数据的模拟验证了理论研究的可行性。

    Dec, 2023

  • 我们是否存在一致偏差？对分布式词向量偏差的多维分析

    该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。

    Apr, 2019

  • 关于句子嵌入的维度

    通过维度分析，我们提出了一种双步训练方法，优化编码器和池化器以减轻低维场景中的整体性能损失，从而显著提高低维句子嵌入的性能。

    Oct, 2023

  • 关于单词嵌入空间的维度语言特征

    本文对词嵌入进行了主成分分析，并提出了许多新颖且反直观的观察。研究人员进一步说明了方差解释率作为下游任务性能的代理效用，并通过对主嵌入空间的句法探测来展示主成分所捕捉的句法信息与其解释方差的数量不相关，从而调查了基于方差的嵌入后处理的局限性，并证明这种后处理在句子分类和机器翻译任务中是产生反效果的。最后，本文提供了一些关于应用基于方差的嵌入后处理的预防性准则，并解释了非各向同性几何可能是词嵌入性能的一部分的原因。

    Oct, 2019

  • 探寻嵌入的纹理：探讨嵌入的构造

    通过引入噪音亚百特信息编码的向量空间，使用探测框架扩展方法，研究了 GloVe 和 BERT 嵌入中向量范数如何编码不同种类的信息，发现 GloVe 在向量范数中存储了句法和句子长度信息，而 BERT 则将其用于编码上下文不连贯信息。

    Oct, 2022

  • 使用 Wasserstein 距离的高斯词嵌入

    该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

    Aug, 2018

  • 信息检索的多元表示学习

    本文提出了一种新颖的表示学习框架，用于密集检索模型，框架采用多元分布作为表示，使用负多元 KL 散度计算相似性，在现有的最近邻算法中无缝集成，实验结果表明，较竞争的密集检索模型有显著的改进。

    Apr, 2023

  • BIER 强化独立嵌入的深度度量学习

    本文研究了深度神经网络中图像对的相似性函数的学习方法，通过利用嵌入集合中的独立性来提高嵌入的鲁棒性，并借助在线梯度提升问题来划分深度网络的最后嵌入层。通过提出两个损失函数来增加集合的多样性，可用于权重初始化过程或训练期间，对图像检索任务的评估表明，我们的度量学习方法在多个数据集上均取得了比业界领先方法更好的表现。

    Jan, 2018

  • 深度神经网络中的降维压缩和扩展

    本研究发现神经网络可以学习较低维度的流形，从而在高维数据空间中分解数据，同时又能取得良好的泛化性能，重点关注降维和流形的内在维度等方面。

    Jun, 2019