通过 IDGen 方法将每个项目表示为独特、简洁、语义丰富、与平台无关的文本 ID，并通过基于 LLM 的推荐系统和文本 ID 生成器的协同训练，无缝地将个性化推荐融入自然语言生成，从而建立了一个基础生成推荐模型。实验结果表明，该方法在标准实验设置下在序列推荐方面始终优于现有模型，并且该方法在从 19 个不同数据集中收集的数据上进行零 - shot 训练后，在 6 个不同平台上的未见数据集上的推荐性能与一些基于监督训练的传统推荐模型相当甚至更好，展示了 IDGen 模式作为生成推荐基础模型的潜力。

Mar, 2024

文中介绍了 MINERS 这个基准测试集，用于评估多语言语言模型在语义检索任务中的能力，包括双文本挖掘和基于检索增强上下文的分类。通过仅检索语义相似的嵌入向量，我们的结果表明性能竞争力与最先进的方法相当，并且无需进行任何微调。

Jun, 2024

本文提出了一种名为 LoID 的 “插件式” 语义知识传递方法，其中包括两个主要组成部分：基于 LoRA 的大型语言模型预训练以提取多方面的语义信息；基于 ID 的对比目标以对齐它们的特征空间。我们在真实数据集上使用 SOTA 基线进行了大量实验证明了我们的方法 LoID 的显著改进。

Mar, 2024

该论文通过使用基于 RQ-VAE 的语义 ID 替代随机生成 ID 的方式来解决推荐系统中的冷启动问题，并展示了语义 ID 对模型的泛化能力的提升。

Jun, 2023

探索利用 Whisper 模型的解码器网络通过其生成机制提取语言特征来提高 LID 任务中的分类准确性。通过基于语言嵌入方法和直接优化 LID 输出的两种策略，在 MLS、VoxLingua107 和 CommonVoice 等大规模多语言数据集上进行实验以验证我们的方法的有效性。实验结果表明该方法在 LID 任务的领域内和领域外数据集上均具有良好效果。

Dec, 2023

使用大语言模型（LLMs）和 Transformer 模型来增强大规模语言模型处理方法，主要通过实现语义搜索来提高搜索结果的准确性和相关性。

Feb, 2024

该研究提出了一种用 Sememe 来驱动语言模型的方法，使得语言模型能够通过对最小语义单元的学习（Semantics）来改善预测表现、提高解释性和鲁棒性。

Oct, 2018

大语言模型（LLM）革命中，嵌入是各种系统的关键组成部分。在本文中，我们迈出了迈向构建强大统一的嵌入模型的第一步，证明了多种语言（自然语言和编程语言）的预训练变换器解码器在有限英文数据微调后能够实现普遍嵌入。我们对各任务进行了全面实践和彻底评估，结果表明这是一条有希望的道路，可以应用于不同任务和语言。

Oct, 2023

该研究探索如何通过使用维基百科网站上的词语描述自动预测词汇语义单位（sememes），提出一种标签分布式序列到序列模型（LD-seq2seq）和一种新型软损失函数来解决这个弱序多标签任务，实验表明，相比于基线和人类标注者，该方法在测试集上取得了更好的表现。

Aug, 2018

提出了一种嵌入式学习框架，用于集成多种 ID（如用户 ID、项目 ID、产品 ID 等），以便在不同情况下进行相似性度量、跨域转移和不同任务之间的转移，以解决经典编码方法不足的问题。

Dec, 2017