transformer-based language model | BriefGPT

关键词transformer-based language model

搜索结果 - 16

XLNet 模型应用于论证要素标注建模
该研究证明了 XLNet 在标记劝说性文章中的争论元素方面的有效性。XLNet 的体系结构采用了一种循环机制，使其能够模拟长文本中的长期依赖关系。经过微调的 XLNet 模型应用于三个使用不同方案标注的数据集，分别是使用 ARROW 方案的
PDF6 months ago
NLQxform: 基于语言模型的问题到 SPARQL 的转换器
这篇研究论文介绍了一种名为 NLQxform 的问答系统，它基于变压器模型 BART，可以通过自然语言界面访问学术知识图谱，实现复杂查询意图的转换和信息检索。在 Scholarly QALD Challenge 中，NLQxform 在 Q
PDF6 months ago
大规模预训练提高了基于主动学习的分子虚拟筛选的样本效率
预训练的基于转换器的语言模型和图神经网络在贝叶斯优化主动学习框架中表现良好，仅通过筛选超大型库中的 0.6％，可以识别到排名前 50000 位化合物的 58.97％，与先前的最先进基准相比提高了 8％，在结构基础和配体基础药物发现中具有卓越
PDF8 months ago
SIGIR文本前置：利用实体介词进行金融关系抽取
在 ACM KDF-SIGIR 2023 竞赛中，我们对名为 REFind 的金融实体关系数据集进行了实体关系任务。我们采用了一个多步骤的方法，首先将提供的实体插入到相应的文本位置，然后利用带标签的训练集对基于 transformer 的语
PDF9 months ago
模块化模型架构中的机器学习信息流控制
为了使受访者能够更加安全地使用 Access-controlled 数据，该研究提出了信息流控制的概念并开发了一种基于 Mixture-of-Experts 的 Transformer 语言模型。实验结果表明，该模型能够使数据的性能开销最小
PDFa year ago
基于核回归的大语言模型上下文学习解析
通过研究大型语言模型，本文提出 Large language models 可以在面对语境示例时模拟核回归算法，并证明了在 Context prompts 上的贝叶斯推理可以被当作大样本上的核回归，并通过实证研究发现，LLMs 中的注意力和
PDFa year ago
基于 Transformer 的语言模型惊奇度在使用约 20 亿训练令牌时最能预测人类阅读时间
本文研究了基于 Transformer 的语言模型中，各种训练数据和不同容量的模型对于预测人类阅读时间的作用，并发现多数具有当代模型能力的变体，使用约 20 亿个训练标记后，所给出的 surprisal estimates 提供了最佳适合度
PDFa year ago
通过主题感知离散潜变量学习语义文本相似度
本文提出了一种基于主题的离散潜变量模型，通过向量量化学习句子对表示的共享潜空间，进一步将量化表示注入基于语义驱动的注意力机制变压器语言模型，以提高语义相似性的性能。
PDF2 years ago
EMNLPVarMAE: 可变分蒸馏自编码器的预训练，用于领域自适应语言理解
本文提出了一种基于 Transformer 的语言模型 ——VarMAE，通过上下文不确定性学习模块，将限定的语料库转化为平滑的潜在分布，从而为特定领域提供多样性和良好形式的上下文表示，实验证明 VarMAE 在科学和金融领域的 NLU 任
PDF2 years ago
语言模型的扩展：方法、分析与训练经验
本文通过对转换器为基础的语言模型在不同规模下的性能分析，证明规模越大，其在阅读理解、事实检查和鉴别有害语言等方面的性能提高最大，但在逻辑推理和数学推理等方面的收益较少。此外，本文还介绍了训练数据集和模型行为的综合分析，探讨了语言模型在 AI
PDF2 years ago
ClimateBert：面向气候相关文本的预训练语言模型
本文研究了预训练语言模型在处理特定领域文本时的缺陷，提出了基于 transformer 的 CLIMATEBERT 语言模型，并证明其在气候相关文本处理任务中显著提升了模型效果。
PDF3 years ago
CVPR自然语言驱动的车辆检索中连接语言与视觉
本研究使用基于语言描述的车辆搜索来探索其在实际场景中的潜力，结合最先进的视觉模型和基于 Transformer 的语言模型，重新审视了网络结构设计、训练策略和优化目标，实验结果显示出了优越的性能，并希望为未来车辆检索系统的研究铺平道路。
PDF3 years ago
ACLDRAG：用于非平行作者风格化重写的导演生成语言建模框架
本文提出了一个 Director-Generator 框架来重写目标作者风格的内容，并特别关注某些目标属性，该框架即使在有限的目标作者语料库的情况下也能很好地工作。实验结果表明，与现有作品相比，我们的模型在重写目标作者风格的输入文本方面有着
PDF3 years ago
基于不相交语料库的风格多样迁移及鉴别反馈
本文介绍了使用独立获取的数据来控制多种风格的方法，旨在解决现有方法中需要联合注释所有风格维度的共同缺点，通过与现有技术的比较，我们的模型能够保留输入文本的内容，同时控制多个风格维度。
PDF4 years ago
EMNLP罗马尼亚 BERT 的诞生
介绍了罗马尼亚 BERT，这是第一个纯罗马尼亚的基于 Transformer 的语言模型，并介绍了语料库的组成和清理、模型训练过程以及在各种罗马尼亚数据集上的评估。
PDF4 years ago
通过神经语言模型探索软件自然性
本文探讨了利用预训练的基于 transformer 的语言模型来对代码进行分析任务的能力，通过对 transformer-based language model 进行 AST 标记任务，得出结论表明其在此任务上的表现较好，并在软件漏洞识别
PDF4 years ago