通过使用大型语言模型 (LLMs) 进行实体匹配，我们对可托管的 LLMs (如 GPT3.5 和 GPT4) 以及基于 Llama2 的开源 LLMs 进行了评估，在零 - shot 场景和有任务特定训练数据的场景中比较了不同的提示设计以及模型在零 - shot 场景中的提示敏感度。根据实验结果，我们发现 GPT4 在没有任务特定训练数据的情况下在三个基准数据集上优于精调的 PLMs (RoBERTa 和 Ditto)，达到约 90% 的 F1 分数，而在上下文学习和规则生成方面，除了 GPT4 之外，所有模型都从这些技术中受益（平均 F1 分数提高了 5.9% 和 2.2%），大多数情况下 GPT4 无需额外的指导。

Oct, 2023

本文探讨使用 ChatGPT 作为传统 Transformer 模型的更健壮、训练数据更有效的替代方法，对实体匹配任务进行实验，证明 ChatGPT 表现竞争力与经过 fine-tuned 的 RoBERTa 模型相当，达到 83％的 F1 零次训练，同时使用很少一部分的在上下文中的示例以及提供高级匹配规则可在零次训练下获得类似的增益。

May, 2023

该研究提出了一种名为 Diagonal Attention Pooling (Ditto) 的无监督方法来解决 BERT 等预训练语言模型中句子表示的各向异性问题，通过基于模型的重要性估计对单词进行加权，改进了语义文本相似度 (STS) 任务的性能。

May, 2023

实体匹配是数据集成中的关键任务，本文探讨了将大型语言模型应用于实体匹配的优势、挑战和未来研究方向，同时回顾了关于弱监督和无监督方法在实体匹配中的应用以及大型语言模型如何增强这些方法。

May, 2024

本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

Oct, 2022

本研究提出一种新的参数高效的模型微调方法（Adapters），并使用这种方法在实体匹配中获得了与使用全模型微调相当或更优的结果。Adapters 方法不仅参数较少，而且可以捕捉 Token 级别的语言表示，并利用预训练 Adapters 实现迁移学习。

May, 2023

利用预训练的句子转换器生成匹配候选项，接着使用优化的双重编码器来生成最佳匹配项以便自动匹配知识图谱和本体论。在多个数据集上进行了验证并展示了可行性和卓越的结果。

Apr, 2022

使用大型语言模型（LLM）进行比较文本分类任务，不需微调，性能优于现有方法，特别是在较长的文本中。零样本学习的性能不如少样本学习。

Oct, 2023

本文提出了一种用于匹配长文档的 Siamese Multi-depth Transformer-based Hierarchical（SMITH）编码器，来解决长文档匹配的语义匹配问题，该编码器包含多项创新来适应输入文本的长度，其中包括使用速度更快的遮盖句块语言建模任务来更好地捕捉文档内的语义关系，实验结果表明 SMITH 在多个基准数据集的表现优于现有最先进的模型，最大输入文本长度从 512 扩展到 2048。

Apr, 2020

本研究提出了一种自我对齐的预训练模型 SapBERT，以处理医学名词实体链接（MEL）等实体级任务，利用 UMLS 等生物医学本体学的庞大集合，实现了新的最优结果，并证明其相对于 BioBERT 和 PubMedBERT 等先前的特定领域的 MLM 的有效性和鲁棒性。

Oct, 2020