- 编程语言和自然语言的对齐：探索多模态变换器嵌入在缺陷定位中的设计选择
通过评估 14 个不同的嵌入模型并开发相应的漏洞定位模型，我们的研究表明，预训练策略显著影响嵌入质量，并且嵌入模型对数据的熟悉程度对漏洞定位模型的性能有着显著影响。当训练数据和测试数据来自不同的项目时，漏洞定位模型的性能会出现大幅波动。
- Pcc-tuning: 打破语义文本相似性中的对比学习瓶颈
该论文通过对语义文本相似度进行深入分析，得出使用对比学习的斯皮尔曼相关系数上限为 87.5，并提出了一种创新方法 Pcc-tuning，通过使用皮尔逊相关系数作为损失函数来改进模型性能，实验证明 Pcc-tuning 大大超越了之前的最新策 - 嵌入模型何时比其他模型更有前途？
本研究提出了一种统一的评估嵌入模型的方法，通过建立理论基础并利用信息充分性的概念进行比较，为自动排序过程提供了一种可操作的标准，展示了实验证明该方法与嵌入模型在自然语言处理和分子生物学中支持各种下游任务的能力密切相关，为实践者提供了一种有价 - 将大规模文本嵌入基准扩展至法语
我们扩展了大规模文本嵌入基准（MTEB）以针对法语提出首个句子嵌入大规模基准，通过与 46 个嵌入模型的大规模比较和全面的统计测试，我们发现大型多语言模型在句子相似度上进行预训练的效果尤为出色。
- 对土耳其语的静态词嵌入进行的全面分析
比较和评估了几个上下文和非上下文模型在土耳其语的内在和外在评估设置中的性能，通过分析模型的句法和语义能力进行了细粒度比较，并建立了土耳其词嵌入库作为土耳其自然语言处理领域的重要资源。
- LongEmbed：扩展嵌入模型以用于长上下文检索
现代自然语言处理（NLP）应用中的嵌入模型在信息检索和大规模生成方面起着重要作用，本文探索了现有嵌入模型的上下文窗口扩展，将限制提升到 32k，而不需要额外的训练。我们通过新构建的 LongEmbed 基准测试，对目前的嵌入模型在长文本检索 - 通过基于大型语言模型的文本补充和重写增强嵌入性能
利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。
- MAD Speech：语音声音多样性的度量
发展了一种声学多样性的轻量级度量标准集，通过专门的嵌入模型和一个聚合函数来衡量声学多样性，在多个真实评估场景中展示了其适用性。
- RAR-b: 推理作为检索的基准
通过将推理任务转换为检索任务，我们发现，即使没有针对推理级别的语言理解进行专门训练，目前最先进的检索模型在协助 LLMs 的角色上可能仍然远离胜任，特别是在推理密集型任务中。然而，最近基于解码器的嵌入模型在弥合这一差距方面表现出巨大潜力，突 - 超越一刀切：多领域、多任务的嵌入模型选择框架
提出了一个系统化的方法，以帮助选择最有效的嵌入模型进行自然语言处理（NLP）任务的开发框架，解决了专有和开源编码器模型的泛滥所带来的挑战。
- GISTEmbed: 文本嵌入微调中的引导样本选择
通过引入 GISTEmbed，在对比训练中通过导向模型增强批内负例选择，从而显著减少数据质量问题引入的噪声，并改善模型微调，从而提供了对规模较小模型的显著改进的框架，借助资源密集型的大型模型的能力，GISTEmbed 有可能革新高效且规模较 - 理解和缓解 Vec2Text 对密集检索系统的威胁
该研究论文探讨了 Vec2Text 的潜在威胁和强化方法，关注于密集检索系统中的嵌入模型、隐私问题和转换技术。
- 生成表示指令调整
通过生成性行为表示指导调整（GRIT）技术，我们训练了一个大型语言模型，通过区分生成和嵌入任务来同时处理两者，该模型在大规模文本嵌入基准（MTEB）上取得了最佳结果，并在多个生成性任务中超越同类模型。通过进一步扩展，我们的模型在仍属于最佳嵌 - 描述的是否是同一声音？一项对表现钢琴演奏的词嵌入空间的分析
使用五个嵌入模型和他们的相似性结构，我们研究了表达钢琴演奏特点的领域中的语义嵌入的不确定性，并评估了上下文提示、减少中心性、跨模态相似度和 k-means 聚类的效果。结果显示，针对这一任务的嵌入模型质量存在很大的变异性；更一般的模型表现优 - TREC 2023 产品搜索赛道概述
今年是 TREC 产品搜索跟踪的第一年。重点在于创建可重复使用集合，并评估元数据和多模态数据对检索准确性的影响。研究结果显示，在产品搜索领域，传统的检索系统效果非常好，通常优于通用的预训练嵌入模型。我们还评估了使用简化和元数据增强集合的影响 - SPEED：用于时间交互图嵌入的流式划分和并行加速
大规模时间交互图的 GPU 加速训练方法 (SPEED)。通过流式边分区和并行加速方法，SPEED 实现了更高的训练速度和更低的资源消耗，具有潜力在百万节点和十亿边的环境下进行训练和加速，并在后续任务中保持竞争力。
- 语义文本相似度中文程序缩略模型的比较研究
比较语义文本相似性方法在检索类似缺陷报告方面的有效性，使用 TF-IDF（基线）、FastText、Gensim、BERT 和 ADA 等嵌入模型来评估性能。研究结果表明，BERT 一般在召回率方面表现优于其他模型，其次是 ADA、Gens - 科学致谢中有监督自动提取和分类命名实体的嵌入模型
该研究评估使用不同嵌入模型自动提取和分类科学论文中致谢文本中的承认实体的性能，并通过 Flair NLP 框架进行命名实体识别任务。最佳准确率为 0.79，实体类型包括资助机构、授予号、个人、大学、公司和其他。此模型可用于对致谢文本进行综合 - 通用神经网络能从儿童的视觉经验中学到什么？
通过训练神经网络从一个孩子的视觉经验中学习，我们研究了基于本能的约束和基于经验的影响对于孩子内部模型的形成的影响，并发现在没有强烈的归纳偏见的情况下，孩子的代表性样本足以从其中获得广泛有用的高级视觉表示。
- ACL复制而不是记忆：一种用于知识图谱完成的垂直学习范式
本文提出了 Vertical Learning Paradigm (VLP) 来解决知识图谱补全任务中跨度较大的多跳联系规则被困难隐式记忆的问题，VLP 扩展了嵌入模型，通过显式地从相关事实三元组中复制目标信息来提供额外线索，提高了其广义能