Jan, 2024

MLP 指南针：当 MLP 与 PLM 相结合时学到了什么？

PDF
TL;DR本研究探讨了使用多层感知器（MLPs）模块是否可以进一步提高预训练语言模型（PLMs）捕捉语言信息的能力，实验结果表明 MLPs 确实可以增强 PLMs 对语言结构的理解能力。
transformer-based pre-trained language modelsmultilayer-perceptrons (mlps)plmslinguistic informationprobing tasks
发现论文，激发创造
  • 预训练如何改善基于语篇的翻译？

    本研究探讨了预训练语言模型在捕捉篇章关系上的能力，并通过探究任务验证了不同架构和层数的 PLMs 的表现，得出了对于不同 NMT 任务在何种情况下使用不同层的 PLMs 是最好的决策。

    May, 2023

  • 预训练语言模型在简单知识图谱问答中的实证研究

    本文针对知识图谱问答中不同预训练语言模型的性能对比，基于两个基本框架和三个基准数据集进行了实验和分析，结果表明知识蒸馏和知识增强技术对于知识图谱问答有很大的帮助；同时，该文还测试了 ChatGPT 在零样本知识图谱问答方面的表现，最终发布了相关代码与基准数据集供后续研究使用。

    Mar, 2023

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • 在上下文嵌入中定位语言特定信息

    本研究旨在了解多语言预训练语言模型（MPLMs）在不受监督学习方式下与其多语性之间的关系，指出 MPLMs 的表示是否是语言无关的或与学习任务预测头相互交错，同时，我们定位了 MPLM 中的语言特定信息，并确定其维度和发生这些信息的层次，以及该信息散布在许多维度中，并可投影为线性子空间。

    Sep, 2021

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 化学 LLM 是否能从信息传递中受益

    预训练语言模型和信息传递神经网络在处理分子文本和分子科学领域展示了显著的能力。本文提出了两种策略来评估信息整合是否能增强性能：对比学习和融合，经实证分析表明，当应用于较小的分子图时，整合方法相比基准模型表现出优越性能，而当应用于大规模图时，这些整合方法并未带来性能改进。

    May, 2024

  • 通过仅使用平行数据训练的大型语言模型研究翻译能力

    本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

    Jun, 2024

  • 重新审视简单的神经概率语言模型

    本文主要通过对比分析神经概率语言模型和 Transformer 模型的特点，提出使用 NPLM 的本地连接层替换 Transformer 的第一自注意层，从而在三个单词级语言建模数据集上获得小而一致的困惑度降低。

    Apr, 2021

  • 大型语言模型是并行的多语种学习者

    通过将输入翻译成多种语言来提供多语言平行输入（PiM）给多语言大型语言模型（LLMs），从而显著提升它们的理解能力，实验结果表明，多语言输入有助于通过翻译超越传统的上下文学习，激活的神经元数量较少的现象与突触修剪的神经学理论吻合，有助于增强智力。

    Mar, 2024