Apr, 2024

表格嵌入模型 (TEM): 为表格 RAG 应用优化嵌入模型

PDF
TL;DR本文介绍了一种用于解决领域特定表格数据分析任务的新方法，通过提出一种独特的 RAG 工作流程，缓解了现有表格 LLM 解决方案的可扩展性问题，特别是针对需要解析和分析大量数值或表格数据的应用领域，我们展示了 Tabular Embedding Model (TEM)，这是一种用于调整嵌入模型以进行表格检索增强生成 (RAG) 应用的新方法，评估结果表明，我们的方法不仅在该领域性能优于现有的嵌入模型，而且具有明显更小、更高效的模型结构。
large language modelstabular data analysisrag workflowtabular embedding modelfine-tune embedding models
发现论文，激发创造
  • 超越提取：通过语言模型对表格数据进行上下文化总结

    通过存储 PDF 文档和单独提取表格内容，使用 Llama-2-chat 语言模型进行汇总，并通过 ChatGPT 3.5 API 增强表格数据的上下文意义，该研究提出了一种创新方法，以显著提高 Retrieval-Augmented Generation 中复杂表格查询的准确性，为信息检索中长期存在的挑战提供了有希望的解决方案。

    Jan, 2024

  • 填补鸿沟：利用大型语言模型解读表格数据

    大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

    Aug, 2023

  • 使用表格语言模型在工业表格中进行命名实体识别

    本文研究如何将基于 transformer 的模型应用于工业级别的表格数据中的实体识别问题，并开发了一种专用的表格数据增强策略来提高性能，实验证明表格的归纳偏差对于 transformer-based 模型的收敛至关重要。

    Sep, 2022

  • Mafin： 使用模型增强微调提升黑盒嵌入

    我们介绍了一种新的方法，利用可训练的嵌入模型对黑盒嵌入模型进行微调，以显著提高其性能，并验证了该方法在有标签和无标签数据集上的有效性，展示了其广泛适用性和高效性。

    Feb, 2024

  • 大语言模型结构化数据提取可解释的医疗诊断

    本研究提出了一种从文本医学报告中提取结构化表格数据的新方法 TEMED-LLM，结合具有解释性的机器学习模型，以在医学诊断中实现端到端可解释性的预测， 较传统的文本分类模型在医学诊断方面具有更好的性能表现。

    Jun, 2023

  • SuperTML：用于结构化表格数据的二维词嵌入

    本文提出了 SuperTML 方法，通过采用两维度嵌入超级字符的思想，将表格数据进行二维嵌入，然后使用 fine-tuned 二维 CNN 模型来解决分类问题。实验结果表明，该方法在大型和小型数据集上都取得了最先进的结果。

    Feb, 2019

  • 一个令牌可以帮助！学习可扩展和可插拔的虚拟令牌用于增强检索的大型语言模型

    通过学习可扩展且可插拔的虚拟标记，我们的方法在保持大型语言模型的原始参数的基础上，仅对这些可插入标记的嵌入进行微调，从而提高了大型语言模型的性能并保留了其普遍的生成能力。

    May, 2024

  • TabuLa: 利用语言模型进行表格数据合成

    通过提出 Tabula，使用语言模型结构的表格数据合成器，我们揭示了使用为自然语言处理设计的预训练语言模型在表格数据合成领域的内在局限性，并通过一种令人满意的基础模型开展了针对表格数据合成的专用基础模型的研发。此外，我们提出了一种令牌序列压缩策略，可显著减少训练时间同时保持合成数据的质量。实验证明，使用语言模型结构而不加载训练有素的模型权重可以获得更好的表格数据合成起始模型。此外，之前针对其他表格数据训练的 Tabula 模型可作为新的表格数据合成任务的优秀基础模型，而且该令牌序列压缩方法可大幅降低模型的训练时间。结果表明，Tabula 相较于当前基于 LLMs 的最先进算法而言，平均每个时期减少 46.2% 的训练时间，并始终获得更高的合成数据效用。

    Oct, 2023

  • 文本嵌入的最新进展：MTEB 基准测试中最佳方法的综述

    通过对最近大规模文本嵌入基准测试中表现最好的文本嵌入进行详细比较和分析，本文概述了通用文本嵌入模型的最新进展，突出了该领域的关键贡献和局限，并提出了潜在的灵感未来研究方向。

    May, 2024

  • 提升预训练语言模型在表格预测任务中的性能

    TP-BERTa 是一种专门用于表格数据预测的预训练语言模型，通过将数值特征值转换为离散的高维标记，并使用内部特征注意方法将特征值与相应的特征名称相结合，TP-BERTa 在典型的表格数据领域中在表格 DNN 中表现卓越，并与梯度提升决策树模型具备竞争力。

    Mar, 2024