Jun, 2024

TIFG：大型语言模型中的基于文本的特征生成

PDF
TL;DR通过利用文本信息进行特征生成，本论文介绍了一种基于语言模型的新型文本信息特征生成框架，通过使用检索增强生成（RAG）技术检索可能相关的特征并生成新的可解释特征，丰富特征空间并进一步挖掘特征关系。实验证明，该方法能够生成高质量且有意义的特征，并且明显优于现有方法。
textual informationdata miningfeature engineeringtext-informed feature generationretrieval augmented generation
发现论文，激发创造
  • 大规模语言模型的无监督信息精炼训练用于检索增强生成

    提出了一种名为 InFO-RAG 的信息优化训练方法，通过优化大语言模型在检索增强生成中的作用，实现了对输入的检索文本进行信息精简，提高了生成的文本的准确性、完整性和简洁性，相对于 LLaMA2 平均提升 9.39% 的性能，并展现了在上下文学习和鲁棒性方面的优势。

    Feb, 2024

  • 语言引导的局部渗透用于交互式图像检索

    提出使用语言引导的本地渗透系统模块，包括语言提示视觉定位模块和带有本地感知的文本渗透模块，用于精确修改引用图像并生成图像 - 文本滤入表示。实验结果表明，我们的方法优于大部分最先进的交互图像检索方法。

    Apr, 2023

  • TeG-DG：面部反欺诈的文本引导领域泛化

    提出了一种文本引导的域泛化框架，用于增强人脸反欺诈技术的域泛化性能，通过文本信息进行跨域对齐，设计了多层次注意融合模块和文本增强视觉判别器，实现了更好的分类和域适应能力，并在极度有限的源域数据情况下展示了令人印象深刻的少样本性能。

    Nov, 2023

  • TDG: 文本引导的领域泛化

    通过引入额外的文本信息，本文提出了一种新的基于文本引导的域泛化（TDG）范式，其中包括自动词语生成、基于提示学习的文本特征生成以及利用图像特征和生成的文本特征来训练分类器，提高域泛化性能的技术都以一种易于实现的方式融入到 TDG 中。在几个域泛化基准上的实验结果表明，我们提出的框架通过有效利用生成的文本信息在域泛化中取得了卓越的性能。

    Aug, 2023

  • SimTeG：一个令人沮丧却简单的方法，提升文本图学习能力

    利用简化且无创新的方法在下游任务上进行预训练语言模型的有监督参数高效微调，并生成节点嵌入以提高图形神经网络在多个图形基准上的性能。

    Aug, 2023

  • TIGS: 基于梯度搜索的文本填充推断算法

    本文提出了一种基于梯度搜索的迭代推断算法，以解决文本填充任务中现有贪心近似推理算法无法应对上下文条件缺失符号生成的挑战，该算法可广泛应用于任何神经序列生成模型。实验结果表明，该算法在不同遮罩比例和遮罩策略的三个文本填充任务中表现出有效和高效的特性，并且始终优于所有基线模型。

    May, 2019

  • LLMs 知道他们所需：利用缺失信息导向框架强化检索辅助生成

    通过实验证明语言模型具有提取信息和判断缺失信息的能力，基于此发现，本文提出了一种 Missing Information Guided Retrieve-Extraction-Solving（MIGRES）范式，利用缺失信息的识别生成有针对性的查询来引导后续的知识检索，同时设计了一种基于句子级别的重新排序过滤方法，以过滤掉无关的内容，并结合语言模型的信息提取能力从干净的文档中提取有用信息，从而增强 Retrieval-Augmented Generation（RAG）的整体效力。大量实验证明了所提出的 MIGRES 方法的优越性，并分析实验证明了我们提出的模块的有效性。

    Apr, 2024

  • 大型语言模型的检索增强文本生成综述

    Retrieval-Augmented Generation (RAG) 是一种合并检索方法和深度学习技术的方法，旨在通过动态整合最新的外部信息解决大型语言模型（LLMs）的静态限制，并通过使用真实世界的数据提供一种成本效益的解决方案来改进 LLMs 输出的准确性和可靠性。该研究将 RAG 范式分为四个类别，并从检索的角度提供了详细的视角，同时介绍了 RAG 的演进和领域的进展。此外，该论文还提出了针对 RAG 的评估方法，并提出了面临的挑战和未来的研究方向，旨在巩固现有的 RAG 研究，明确其技术基础，并突出其扩展 LLMs 的适应性和应用潜力。

    Apr, 2024

  • 多粒度跨模态对比学习下的文本引导人脸识别

    通过引入面部属性和语义信息，以提高在低质量图像中进行面部识别的性能为目标，本文介绍了一种名为文本引导的面部识别（TGFR）方法，通过跨模态对齐和融合模块，以及面部特征和文本特征的优化，实现了显著的性能提升。

    Dec, 2023

  • 高保真文本引导的 3D 人脸生成与操作仅通过图像

    通过引入文本条件，该论文提出了一种名为 TG-3DFace 的文本引导的 3D 人脸生成方法，利用全局对比学习和细粒度对齐模块两种跨模态对齐技术，实现了更逼真和语义一致的纹理生成。

    Aug, 2023