natural language processing tasks | BriefGPT

关键词natural language processing tasks

搜索结果 - 9

一个用于联合关系三元组抽取的双合并模型
通过使用基于两维句子表示的双重整合模型，本文提出了一种解决关系三元组提取中的语义重叠问题的方法，同时增强与关系三元组相关的局部和全局语义特征，有效提高实体识别和关系类型分类的性能，并在多个发布数据集上取得了有竞争力的性能，分析实验证明了我们
PDF3 months ago
mALBERT：一个紧凑的多语言 BERT 模型是否值得？
提出了一种基于 Wikipedia 数据的多语言紧凑型 ALBERT 模型的免费发布，以解决关于 Pretained Language Models（PLM）的伦理和生态影响的问题，并在经典自然语言处理任务中对该模型进行了评估。
PDF3 months ago
8192 个标记双语文本嵌入的多任务对比学习
该研究介绍了一套新颖的双语文本嵌入模型，能够处理长度长达 8192 个标记的文本输入，支持英语和目标语言，适用于文本检索、聚类和语义文本相似性计算等自然语言处理任务。通过专注于双语模型和引入独特的多任务学习目标，研究提高了 STS 任务模型
PDF4 months ago
平均困难注意力变换器是恒定深度均匀阈值电路
该论文研究了 Transformers 模型在自然语言处理任务中的应用，并发现它们与常深度门电路之间的关系，通过两个假设（平均难度的注意力和对内部计算相对于输入长度的对数精度）。研究表明，平均难度的注意力 Transformers 可以识别
PDFa year ago
使用知识增强的生成预训练模型通过中国医学执照考试
本文提出一种嵌入医疗领域知识和启用 Few-shot Learning 的方法，以迎合需要广泛的领域专业知识和语义知识（如医疗保健）的领域的需求。利用一种简单但有效的检索方法，本文高效提取医学背景知识以引导 ChatGPT 的推理和寻答的逻
PDFa year ago
EMNLP通过元学习为预训练语言模型打造多重训练目标
本研究提出了基于元学习的 Adaptive Sampler MOMETAS，用于多预训练目标下的语言建模，无需手动设置采样策略，可有效提高 BERT 模型在 14 项自然语言处理任务的性能表现。
PDF2 years ago
Cedille：一个大型自回归的法语语言模型
本研究介绍了 Cedille 自回归语言模型，该模型是专门为法语语言训练而成的，测试结果表明 Cedille 在零样本基准测试方面优于现有法语语言模型，并在语料库过滤方面取得了改进。
PDF2 years ago
理解和克服高效 Transformer 量化的挑战
本文探讨了 Transformer 模型的量化问题，并给出了三种解决方法，其中一种基于 embedding group 的量化方法建立了新的量化模型，该方法可降低模型内存占用且保证了一定的精度。通过在 GLUE 基准测试中使用 BERT，我
PDF3 years ago
EMNLP序列标注的语言模型剪枝：高效的上下文表示
本研究提出了一种基于稀疏性诱导正则化的层选择方法，用于压缩大型预训练语言模型，以提高特定任务的计算效率，并在两个基准数据集上进行了实验验证其有效性。
PDF6 years ago