对比学习和专家混合使得向量嵌入更精确

Jan, 2024

对比学习和专家混合使得向量嵌入更精确

Contrastive Learning and Mixture of Experts Enables Precise Vector Embeddings

Rohan Kapur, Logan Hallee, Arjun Patel, Bohdan Khomtchouk

TL;DR我们针对高度专业化的科学子领域中，传统方法不能很好地进行文本分类和矢量表示的问题，提出了使用共引作为相似度度量的专业数据集，并结合领域特定微调和专家混合的通用适应性方法，实现了在多个任务上具有高效性的通用 Transformer 网络，显著推进了科学文本分类指标的发展，并有望增强矢量数据库的搜索和编译。

Abstract

The advancement of transformer neural networks has significantly elevated the capabilities of sentence similarity models, particularly in creating effective vector representations of natural language inputs. Howe

transformer neural networks sentence similarity models domain-specific biomedical domains mixture of experts

发现论文，激发创造

探索稀疏专家混合模型在多领域神经机器翻译中的潜力

我们关注多领域神经机器翻译，旨在开发能够处理训练期间见过的各种领域数据并对未见过的领域具有鲁棒性的高效模型。我们假设稀疏专家混合（SMoE）模型非常适合这个任务，因为它们能够实现高效的模型扩展，有助于适应各种多领域数据，并允许领域间参数的灵活共享，从而可能实现类似领域之间的知识传递，并限制负面传递。我们进行了一系列实验证实 SMoE 在多领域场景中的效用，并发现在实践中，对 Transformer 进行简单的宽度扩展是一种更简洁且出人意料地高效的方法，其达到了与 SMoE 相同的性能水平。我们还寻求多领域系统的更好鲁棒性方法，强调了混合通用领域（如 Paracrawl）的重要性，并引入了一种简单的技术，即领域随机化。

Jul, 2024

从对比微调的语言模型中提取语义概念嵌入

提出通过对比学习策略来改进概念嵌入的语义表示方法，使用全新的 contextualized vectors 代替传统平均表示方法，可优化概念嵌入中的语义属性，使得使用该方法后的概念嵌入能在预测语义属性上显著突出于传统概念嵌入方法，尤其是使用 ConceptNet 的方法的效果最佳。

May, 2023

HyperMoE: 通过专家之间的迁移改进更好的专家混合

HyperMoE 是一种基于 Hypernetworks 的新型 Mixture of Experts (MoE) 框架，通过利用未选择的专家生成的特定模块作为补充信息，实现在保持选择稀疏性的同时利用未选择的专家的知识，从而在相同条件下显著优于现有 MoE 方法。

Feb, 2024

基于 Transformer 混合专家模型构建强健的问答系统

探索一种强大的问答系统的模型体系结构，其中使用了 Mixture-of-Experts 模型来训练具有更好鲁棒性的多任务学习器，该模型还使用了 DistilBERT 来生成问题向量；数据增强技术包括 Easy Data Augmentation (EDA) 和 back translation。通过这些方法，所提出的模型在严格的测试中实现了 53.477 F1 分数，比基线模型提高了 9.52％。该研究成功地证明了 Mixture-of-Expert 体系结构在 Robust QA 任务中的有效性。

Mar, 2022

对比学习句向量的非语言监督

本文提出了一种多模态多任务的 Transformer 模型，通过对句子和非语言数据对比学习的方式来提高句子编码器的性能，并在基准测试中获得了更高质量的语义文本相似性结果。

Sep, 2022

句子嵌入的构成对比学习

通过最大化同一文本最小扰动嵌入之间的对齐，以及在更广泛的语料库中鼓励嵌入的均匀分布，基于对比学习的各种方法已被提出来从未标记的数据中学习文本表示。不同的是，我们提出最大化文本和其短语成分组成之间的对齐，考虑了此目标的多种实现方法，并详细阐述了每种情况下对表示的影响。语义文本相似性任务上的实验结果显示，与最先进的方法相当的基线改进。此外，本工作是第一个这样做而不需要额外网络参数或辅助训练目标的工作。

Jul, 2023

将对比学习融入多任务 Transformer 模型以实现有效的领域自适应

提出一种新颖的领域适应技术，采用 SER 作为主任务、对比学习和信息最大化损失作为辅助任务的多任务框架，借助在大型语言模型上进行微调的 transformer 实现跨语料库情感识别的最新性能。

Oct, 2023

利用引用嵌入的邻域对比学习科学文献表征

本文提出了一种通过对比学习来改善科学文档表示的方法 —— 使用引文图嵌入进行所控制的最近邻抽样来学习连续的相似度，内容主要涉及对比学习、科学文档表示、引文图嵌入、相似度语义以及相关研究。

Feb, 2022

科学文章句级嵌入的分类与聚类：对比学习生成

使用对比学习来微调句子 Transformer 模型，生成科学文章中的句子级嵌入，并将其用于科学文章中的句子分类任务，取得了显著的改进。

Mar, 2024

MCSE: 句子嵌入的多模态对比学习

本文提出了一种基于多模态对比目标的句子嵌入学习方法，利用同时包含视觉和文本信息的数据提高了语义相似性任务的性能，并通过分析文本嵌入空间的性质解释了本方法提高性能的原因。

Apr, 2022