anisotropy | BriefGPT - AI 论文速递

关键词anisotropy

搜索结果 - 8

ACL自注意力中的各向异性
通过实证观察，本文展示了基于 Transformer 的语言模型和其他模态下的 Transformer 存在的角度距离接近的问题，即各向异性问题。
PDF5 months ago
ACLTransformer 模型中的各向异性是否固有？
本文探讨了 self-supervised learning 方法在 transformer 架构的模型中出现的表示退化问题，提到了表征中的各向异性现象，并且指出该问题在表示学习、自然语言处理等领域都具有普适性。
PDFa year ago
ACL探索多语言语言模型中的异性与异常值对于跨语义句子相似度的影响
通过对多个预训练的多语种语言模型进行研究，探究其输出中的异常维度和它们对各种跨语言语义相似性任务表现的影响。通常使用在平行资源上进行微调的 sentence transformers 在这些任务中表现更好，且表示更各向同性。研究人员通过不同
PDFa year ago
ContraGen：用于因果语言模型的有效对比学习
本文提出了一种名为 ContraGen 的对比学习框架，用于解决语言生成过程中的表示限制问题，该框架可以显著提高表征的均匀性和区分性，改善语言理解和源代码生成的表现。
PDF2 years ago
MM基于马尔可夫奖励过程的空间插值方法
本研究提出了三种基于 Markov 奖赏过程的空间插值方法，分别是基本的静态折扣 MRP（SD-MRP）、精确但大部分基于理论的优化 MRP（O-MRP）和可转移权重预测 MRP（WP-MRP），并对两个公共数据集（本地 GDP 值和 CO
PDF3 years ago
ECCV实时视觉跟踪：提高相关滤波器学习的鲁棒性
本研究提出了三种稀疏度相关的损失函数，通过利用滤波器响应的各向异性提高相关滤波学习的鲁棒性，从而实现了三种实时跟踪器。大量实验证明了所设计的损失函数显著提高了相关滤波的鲁棒性，并揭示了不同损失函数对跟踪性能的影响，从而为设计鲁棒的相关滤波器
PDF8 years ago
Planck 2013 结果。XXIII. 宇宙微波背景辐射的各向同性和统计特征
使用天体微波背景的各向同性和高斯性的偏离，测定宇宙学标准模型的基本假设并提出一些异常，尤其是非高斯性和幂律不对称性。
PDF11 years ago
在封闭 FRW 模型中高效计算 CMB 各向异性
我们采用高效视线法计算在正空间曲率下几乎 Friedmann-Robertson-Walker 模型中标量模式和张量模式的宇宙微波背景的各向异性和极化，并提供了在这种模型中极化功率谱的新结果。
PDF25 years ago