embeddings | BriefGPT - AI 论文速递

关键词embeddings

搜索结果 - 127

嵌入式表示应该嵌入什么？自回归模型表示潜在的生成分布
通过将自回归预测目标与构建预测充分统计量的思想联系起来，我们确定了三种情况下嵌入的最佳内容：独立同分布数据、潜在状态模型和离散假设空间，并进行实证研究表明 Transformers 编码了这三种潜在生成分布，并在这些情况下表现良好。
PDF23 days ago
预训练的 Transformer 揭示人类移动数据中有意义的模式
基于国家级无标签人类流动数据进行事先训练的转换器能够通过微调形成对目标地理区域及其相应流动模式的深入理解，我们的预先训练嵌入在涵盖与人类流动直接和间接相关的广泛概念方面表现出良好性能，包括地理位置、距离、行政区划和土地覆盖等，通过大量实证分
PDF23 days ago
自监督编码器对未见数据集的聚类的实证研究
用预训练模型在未被训练的数据集上进行推理，探讨其嵌入是否能够形成有意义的聚类，评估自监督模型的嵌入，发现不同于监督模型，自监督模型在训练领域内表现更好，在训练领域外则相反，而微调模型则展示了相反的趋势，聚类提供了一种评估自监督学习表示的方法
PDF25 days ago
利用词嵌入进行类比任务预测药物 - 基因关系
利用自然语言处理和 BioConceptVec 嵌入，预测药物和靶基因的关系，通过生物途径的分类改善性能，并通过历史关系的向量预测未知的未来关系。
PDFa month ago
波斯同音词消歧：利用 ParsBERT 提升句子理解力的新词义消歧数据集
我们引入了一个新的波斯同音异形词消歧数据集，对各种嵌入进行了全面探索，并通过余弦相似度和分类等下游任务来评估其有效性。我们训练了多种机器学习和深度学习模型进行同音异形词消歧，并在准确度、召回率和 F1 分数等方面对模型的性能进行了细致分析，
PDFa month ago
预训练模型的外部分布泛化受哪些变量影响？
预训练深度神经网络嵌入广泛使用，然而在下游任务中它们的有效性各不相同。本文通过隧道效应假设研究了影响预训练深度神经网络嵌入进行域外泛化的因素。通过改变网络架构、训练数据集、图像分辨率和增强等条件来研究如何减轻隧道效应，并使用新颖的 SHAP
PDFa month ago
随机投影下的节点相似性：极限和病态案例
通过随机投影方法生成的嵌入向量在计算效率上得到了广泛应用，本文进一步研究了随机投影对点积和余弦相似度的保留效果并提供了新的理论结果，找出了病态案例并用数值实验进行了测试，发现对于低度或高度节点，此方法在点积上得到的嵌入向量相对不可靠，而与随
PDF2 months ago
CLIP-Embed-KD: 以嵌入向量作为教师的计算高效知识蒸馏
通过利用嵌入作为教师，我们扩展了 CLIP 用于高效进行知识蒸馏，初步结果表明，使用嵌入进行基于 CLIP 的知识蒸馏可以在使用少至 9 倍内存和 8 倍训练时间的情况下优于完整规模的知识蒸馏。
PDF3 months ago
ICLR构建技术文档的 RAG 系统的观察
技术文件的检索增强生成（RAG）面临的挑战在于嵌入不经常捕捉到域信息。我们回顾了影响 RAG 的重要因素的先前研究，并进行实验以突出最佳实践和建立技术文件 RAG 系统的潜在挑战。
PDF3 months ago
通过动态跳过陈旧嵌入来加速推荐模型训练
Slipstream 是一个软件框架，通过识别过时的嵌入并跳过其更新来提高性能，在真实世界的数据集和配置方面，相比 Baseline XDL、Intel-optimized DRLM、FAE 和 Hotline，SlipStream 分别展
PDF3 months ago
基于端到端机器学习眼动驱动的生物特征传输学习嵌入分析
验证眼动生物识别系统中通过机器学习获得的嵌入式方法是否与传统生物识别中所观察到的时间持久性相似，并对输入数据的长度和质量对眼动生物识别的性能和嵌入式的稳定性进行了实验和评估。
PDF4 months ago
Pfeed：使用预先计算的嵌入相似性生成几乎实时个性化供稿
在个性化推荐系统中，使用嵌入来编码客户行为和物品，并通过近似最近邻搜索在嵌入空间中执行检索。然而，这种方法可能会面临两个挑战：用户嵌入可能限制了所捕捉的兴趣的多样性，而且需要保持它们的实时更新需要代价高昂的基础设施。在本文中，我们提出了一种
PDF4 months ago
从偏见到平等：消除大型语言模型词向量偏差的新方法
我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当
PDF4 months ago
医生 - AI 会诊的一次性分类的嵌入评估
医疗协商中的文本如何使用最先进的嵌入和一次性分类系统进行分类，分析表明，嵌入能够可靠并且适应地捕捉文本的语义特征。Word2Vec、GloVe 和字符 n-gram 嵌入表现良好，GPT2 嵌入也表现出显著性能，我们的机器学习架构在数据稀缺
PDF5 months ago
使用自监督技术学习歌手身份表示
我们提出了一个框架，通过在大量的孤立音轨上应用不同的自监督学习技术以及数据增强，训练歌手身份编码器以提取适用于各种歌唱相关任务（如歌声相似性和合成）的表示，我们评估了产生的表示在多个数据集上进行歌手相似性和识别任务，并重点关注领域外泛化，我
PDF6 months ago
SwitchTab：交换式自编码器是有效的表格学习模型
SwitchTab 是一种新颖的自我监督方法，专门用于捕捉表格数据中的潜在依赖关系，并通过使用经过预训练的鲜明嵌入来提高下游任务的性能，同时可通过可视化来创建可解释的表示。
PDF6 months ago
LightGCN: 评估和增强
本论文在图推荐算法中分析了 LightGCN。尽管图卷积网络最初的设计是用于图分类，但非线性操作并不总是必要的。LightGCN 能够实现嵌入的线性传播，从而提升性能。我们重现了原始发现，评估了 LightGCN 在不同数据集和指标上的鲁棒
PDF6 months ago
使用混合马尔可夫逻辑验证嵌入
我们提出了一种基于概率一阶语言的框架，即混合马尔可夫逻辑网络（HMLNs），用于验证学习得到的表示，并通过编码为混合整数线性规划的方式来进行嵌入的验证。我们使用现有的先进求解器测试了该方法，在图神经网络、深度知识追踪和智能辅导系统中展示了其
PDF7 months ago
高维度中的嵌入向量估计
基于一种概率模型，研究了嵌入学习在离散数据中的可学习性，并提出了一种用于估计的低秩近似消息传递方法，探讨了样本数量、词项频率和嵌入相关性对概率分布的影响。通过对合成数据和真实文本数据的模拟验证了理论研究的可行性。
PDF7 months ago
具有注意融合的城市区域表示学习
提出了一种名为 HAFusion 的新型模型，通过融合不同区域特征的嵌入来学习区域之间和不同类型区域特征之间的高阶相关性，实现了对城市区域表征的学习，在三种不同的预测任务中，HAFusion 模型优于现有方法，利用学习得到的区域嵌入可以使
PDF7 months ago