Jul, 2022

Doge Tickets：通过刮刮乐发现领域通用语言模型

PDF
TL;DR本文为了寻求一种领域通用的语言模型，提出从预训练语言模型中鉴别领域无关的参数，实现利用 Doge tickets 方式来提高文本在不同领域上的推广性能优化。通过实验验证表明，将中性参数组成领域通用的语言模型可以得到更好性能。
pretrained language modelsover-parameterized modelsdomain-general parameterslottery ticketsout-of-domain generalization
发现论文，激发创造
  • 通过从头开始训练领域知识来匹配领域专家

    通过领域特定的自回归训练方法，在小型的 GPT-2 模型上训练神经科学文献，可以实现即使在小规模的语言模型上也能达到专家水平的性能表现。

    May, 2024

  • Tag-LLM: 通用智能语言模型在专业领域的再利用

    通过引入一种新的模型无关框架，该框架可以学习定制输入标签来调节语言模型，并明确区分任务领域和任务功能，从而使得模型在特定领域中能够实现零样本泛化，并在预测蛋白质或化学性质以及建模药物靶标相互作用等专业领域中，超过专业为这些任务量身定制的模型的性能。

    Feb, 2024

  • 超越一模型适用于所有场景：大型语言模型领域特化调查

    本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

    May, 2023

  • 领域私有转换器

    本篇论文提出了一种新颖的方法 —— 领域隐私，用以衡量条件语言模型在不同域之间泄露的可能性，并根据基于标记级别的域分类开发策略函数和一种高效的微调方法以提高已训练模型的域隐私；实验表明，我们的方法具有与不同 ially 私有语言模型的方法相当的弹性。

    May, 2023

  • 主题、领域和语言变化的桥梁：综合离域场景的评估

    在真实世界中，语言模型在超出分布范围的场景中的泛化能力变得更低，基于提示的微调方法在语义差异较大的任务中表现更好，而基于梯度的学习存在结构障碍的偏差问题。

    Sep, 2023

  • 知识插件：为领域特定推荐增强大型语言模型

    本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

    Nov, 2023

  • 当巨型自然语言处理系统不够用时！使用知识亮粉点提升领域魅力

    本文研究了如何利用特定领域的知识以协助适应自然语言处理领域中的商业实例，以保险业的问答任务为例，设计出一个基于 LLMs 的新模型，通过利用保险政策手册中的特定领域知识，可以协助理解保险新概念，初步结果表明来自政策手册的知识提高了 GPT-3.5 在可靠性方面的推论能力。

    May, 2023

  • 大型语言模型作为规划领域生成器

    通过对 7 个大型语言模型进行实证分析，我们发现大型语言模型在从自然语言描述中生成正确的规划领域模型方面具有适中的能力。

    Apr, 2024

  • 超越已知：研究 LLMs 在域外意图检测中的性能

    对大规模语言模型在超出预定义领域内意图检测任务中的能力进行了综合评估，揭示了它们的优势和劣势，发现 LLMs 表现出强大的零样本和少样本能力，但与使用完整资源进行微调的模型相比仍存在劣势。通过进一步的分析实验，讨论总结了 LLMs 面临的挑战，并提出了对未来工作的指导，包括注入领域知识、加强从领域内到超领域的知识转移和理解长指令。

    Feb, 2024

  • 探索大型语言模型对代码分析中的分布式转换

    通过研究两个大型语言模型 CodeT5 和 Codex 在代码领域外具有的一般化能力，我们发现多任务学习与少许训练数据的微调相结合的方法能够很好地适应不同域的代码摘要和生成需求。

    Mar, 2023