text embeddings | BriefGPT - AI 论文速递

关键词text embeddings

搜索结果 - 30

一段文字胜过数个令牌：LLM 的文字嵌入与关键令牌密切对齐
通过分析长序列模型的嵌入数据，我们发现其文本嵌入与关键标记是可以对齐的，并进一步通过调整首个主要成分，实现文本嵌入与关键标记的对齐。这一发现拥有广泛应用潜力，可用于稀疏检索方法的改进和模糊概念的理解。
PDF7 days ago
ACL可迁移性嵌入反转攻击：揭示文本嵌入的隐私风险，无需模型查询
研究了与文本嵌入相关的隐私风险，重点关注攻击者无法访问原始嵌入模型的情景。通过开发一种传递攻击方法，利用替代模型模拟受害模型的行为，使攻击者能够从文本嵌入中推断敏感信息，从而揭示了嵌入技术中潜在的隐私漏洞，强调了加强安全措施的必要性。
PDF20 days ago
基于音频文本的关键词检测的关系代理损失
通过引入关系型代理损失（RPL）的概念，利用声学嵌入和文本嵌入之间的关系结构，改进了现有方法，在华尔街日报（WSJ）语料库上展示了更好的性能。
PDF24 days ago
将语言模型改造为嵌入模型：找寻计算最优配方
本文研究如何在计算优化的情况下对文本嵌入模型进行对比训练，通过使用一系列预训练的只有解码器的语言模型来产生最佳的模型配置、数据量和微调方法，从而适应不同的计算预算级别。我们通过广泛的实验得到了这些结论，可以帮助从业者为他们的嵌入模型做出明智
PDFa month ago
PL-MTEB：波兰大规模文本嵌入基准
该研究介绍了波兰大规模文本嵌入基准（PL-MTEB），它是一个包含 28 个不同自然语言处理任务的全面基准，涉及五种任务类型。研究人员通过波兰 NLP 社区先前使用的数据集对这些任务进行了适应。此外，研究人员创建了一个名为 PLSC（波兰科
PDF2 months ago
LLM2Vec: 大型语言模型是强大的文本编码器
我们引入了 LLM2Vec，这是一种简单的无监督方法，可以将任何解码器模型转换为强大的文本编码器，通过三个简单步骤：启用双向注意机制，掩码下一个标记预测和无监督对比学习，在英语词和序列级任务中，LLM2Vec 在词级任务上远远超过编码器模型
PDF3 months ago
TTD：Text-Tag 自我蒸馏以减轻 CLIP 中的单标签偏差
我们提出了一种新颖的二步微调方法，通过利用标签与其最近的像素之间的相似性进行评分，从文本中提取与图像相关的标签，并通过自蒸馏策略来校准提取标签的组合掩码与文本派生掩码。这种方法缓解了单标签偏见，显著提高了 CLIP 模型的对齐性，并超过了依
PDF3 months ago
文本条件下音乐扩散模型的广义多源推理
该论文将多源扩散模型推广到任意时域扩散模型，基于文本嵌入来训练这些模型，实现了有机的音乐生成和声音分离，且在松散数据设置下展示出竞争力的生成和分离结果。
PDF3 months ago
重复改进语言模型嵌入
提供了一种解决自回归模型的架构限制的简单方法，即 “回声嵌入”，通过在上下文中重复输入并从第二次出现中提取嵌入，使得提前的标记嵌入能够包含后面的标记的信息，从而最大程度地利用高质量 LLMs 进行嵌入。在 MTEB 榜单上，回声嵌入在零 -
PDF4 months ago
ICLR获取你想要的，而不是你不想要的：用于文本到图像扩展模型的图像内容抑制
利用 $ extit {软加权正则化}$ 和 $ extit {推理时文本嵌入优化}$ 的方法，本论文通过分析如何操作文本嵌入，并从中消除不需要的内容，解决了最近文本到图像扩散模型无法有效抑制生成不需要的内容的问题。并通过量化和定性的实验证
PDF5 months ago
利用大型语言模型改进文本嵌入
通过使用合成数据和少于 1k 个训练步骤，我们引入了一种获取高质量文本嵌入的新颖简单方法。与现有方法不同，我们的方法不需要构建复杂的训练流程或依赖于常常受到任务多样性和语言覆盖性限制的人工收集的数据集。通过利用专有 LLMs 在近 100
PDF6 months ago
构建更好的基于大型语言模型的稠密检索模型
提出了一种新颖的方法 LLaRA（LLM 适应于密集检索），它作为 LLM 的事后适应工具，用于密集检索应用。LLaRA 包括两个预处理任务：EBAE (基于嵌入的自编码) 和 EBAR (基于嵌入的自回归)，其中来自 LLM 的文本嵌入用
PDF6 months ago
CausalCite：论文引用的因果表述
本研究提出了一种叫做 CausalCite 的因果推断方法，通过高维文本嵌入将每篇论文编码，利用余弦相似度提取相似的样本并综合计算出反事实样本，用于衡量论文被引用的因果关系，该方法在科学专家对 1,000 篇论文进行的实验、历史论文的奖项和
PDF8 months ago
搜索适配器：信息检索的文本嵌入定制化
通过自定义 Search-Adaptor 方法，我们可以提高预训练大型语言模型在信息检索和搜索领域的性能，有效且稳健地修改原始文本嵌入向量，与任何语言模型集成，并在多个实际英语和多语种检索数据集上取得一致且显著的性能提升。
PDF9 months ago
多概念 T2I-Zero：仅调整文本嵌入，不涉及其他部分
通过对预训练文本到图像扩散模型中的文本嵌入进行微调，我们设计了一种低成本的解决方案，实现自然多概念文本到图像生成，并在扩散步骤中不增加附加的训练或推理成本。我们的方法通过收集与最相似的令牌的语义特征来定位贡献，并应用交叉令牌非极大值抑制来避
PDF9 months ago
EMNLP文本嵌入揭示的信息不亚于文本本身
文本嵌入可以泄露原始文本的多少私人信息？我们调查了嵌入反演的问题，重构了用密集文本嵌入表示的完整文本。我们将问题作为控制生成的方法来解决：生成文本，当重新嵌入时，接近潜在空间中的固定点。虽然简单的模型在文本嵌入的条件下表现不好，但一个多步骤
PDF9 months ago
表示很重要：使用动态模态分解嵌入大型语言模型的方式
通过对文本嵌入空间中生成的文本的属性进行分析，我们发现大语言模型生成的虚构文本模式演化跟真实文本不同，且生成技术和底层表示对产生幻觉有影响。
PDF10 months ago
大型语言模型最近邻测试时间训练
本研究使用最近邻检索方法，直接在测试时 fine-tuning 模型，明显提升了大量语言模型任务的性能。
PDFa year ago
LACoS-BLOOM：基于对比目标的 8 位 Siamese-BLOOM 低秩适应
本文介绍了一种低秩适配器、基于对比目标的多语言大型语言模型 Siamese-BLOOM 和可扩展适配器 LoRA 以及 8 位 Adam 优化器，用于句子相似性分类。通过在 BLOOM 模型上应用对比目标的 Siamese 架构，解决了多语
PDFa year ago
自然语言处理中各种文本嵌入对聚类性能的影响
本研究探讨了在电商平台的评论中使用聚类算法对评论星级进行重新标注的任务，使用了 BERT 和 Word2Vec 两种不同的文本嵌入来表示文本，并测量了各种聚类算法（包括 KMeans，单连系群聚类和基于密度的算法）的性能，结果表明嵌入类型对
PDFa year ago