May, 2024

提升填补准确率：利用上下文的大型语言模型加强插补数据

PDF
TL;DR这篇论文介绍了上下文语言模型用于准确插补方法 (CLAIM)，一种利用预训练大型语言模型 (LLMs) 的广泛知识和推理能力来解决表格数据集中缺失数据挑战的新策略。通过利用上下文相关的自然语言描述符来填充丢失的值，CLAIM 方法转换数据集为具有自然语言上下文化格式，与 LLMs 的能力更加契合，进而促进 LLMs 的双重用途：首先，用于生成丢失值描述符，然后，对丰富的数据集进行精细调整，以提高下游任务中的性能。我们在多样的数据集和数据缺失模式上的评估显示 CLAIM 相对于现有的插补技术具有更优越的性能。此外，我们对特定上下文与通用描述符在缺失数据中的有效性进行的研究突出了上下文准确性提高 LLMS 进行数据插补的性能的重要性。结果强调了 CLAIM 提升数据分析和机器学习模型的可靠性和质量的潜力，为处理缺失数据提供了更为细致和有效的解决方案。
发现论文，激发创造
  • 释放大型语言模型在数据科学中预测表格任务的潜力

    利用大型语言模型（LLMs）解决数据科学中与表格数据相关的预测任务的研究，通过创建一个包含注解指令的综合数据集来对 LLM 进行大规模训练，研究应用训练好的模型在零样本预测、少样本预测和上下文学习场景中的实际应用，并通过实验证明该方法在表格智能方面相较于现有基准有显著改进。

    Mar, 2024

  • ZeroDL：基于大型语言模型的零样本分布学习文本聚类

    我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示例突出了上下文化的重要性。

    Jun, 2024

  • 估计大型语言模型能力的方法（无需标记测试数据）

    本文提出利用元模型，基于大型语言模型的置信度得分预测新任务的扩展学习（ICL）准确度，并在四个大型语言模型和三个任务集上对其进行了基准测试。

    May, 2023

  • 利用大型语言模型进行端到端语音识别的语境化

    通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

    Sep, 2023

  • 有监督的知识提升大语言模型在上下文学习中的表现

    通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

    Dec, 2023

  • 多模式 LLMs 的链接上下文学习

    基于多模式大型语言模型和大型语言模型，提出了一种新颖的上下文学习方法（In-Context Learning），通过加强因果关系，引导模型识别类比和数据点间的潜在因果关联，使模型能够识别未见过的图像和理解新概念更有效。

    Aug, 2023

  • 利用 LLM 中的提示克服复杂教育文本数据中的不平衡

    本文研究了如何利用具有断言的大型语言模型（LLMs）来缓解教育数据集中的不平衡问题，结果显示，与传统的机器学习（ML）模型相比，具有断言的 LLMs 在认知参与水平上明显优于传统模型，并且针对特定子集的敏感性研究表明，将断言加入到 LLM 中可提高其性能约 11.94%。

    Apr, 2024

  • 大型语言模型感知语境学习用于代码生成

    基于大型语言模型的代码生成中，我们提出了一种名为 LAIL 的新型学习选择方法，通过考虑给定需求和示例时生成真实程序的概率来估计候选示例，并通过概率反馈对候选示例进行标记，使用对比学习目标训练一个有效的检索器，从而提高了代码生成的性能。在 CodeGen 和 GPT-3.5 方面，LAIL 在三个代表性数据集上分别比基准线提高了 11.58％、6.89％、5.07％和 4.38％、2.85％、2.74％的 Pass@1 指标。

    Oct, 2023

  • 通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

    提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

    Nov, 2023

  • LLMs 中可靠的潜在知识估计：与上下文学习相比，基于提示的事实知识提取

    我们提出了一种估计大型语言模型中嵌入的潜在知识的方法，该方法利用了大型语言模型的上下文学习能力来估计模型对存储在知识库中的事实的了解程度，并且我们的知识估计器避免了以前的提示式方法中存在的可靠性问题，且在概念上更简单且更易于应用，我们证明它可以揭示出更多嵌入在大型语言模型中的潜在知识。我们还研究了不同设计选择对基于上下文学习的知识估计性能的影响。通过所提出的估计器，我们对各种开源大型语言模型（如 OPT，Pythia，Llama (2)，Mistral，Gemma 等）在来自 Wikidata 知识库的大量关系和事实上的事实知识进行了大规模评估。我们观察到不同模型家族和不同大小的模型之间的事实知识存在差异，某些关系普遍比其他关系更为熟知，但是模型在知识上存在差异，以及基本模型和其微调模型之间的知识差异。

    Apr, 2024