transformer language model | BriefGPT

关键词transformer language model

搜索结果 - 17

ACLTransformer 语言模型处理预测头中的词频
本研究调查了预测头的内部工作，特别关注偏差参数，并发现 BERT 和 GPT-2 模型中的预测头偏差对模型反映语料库中的词频有重要作用，可通过对偏差的控制在实践自回归文本生成场景下生成更多样化的文本。
PDFa year ago
感受野对齐实现 Transformer 长度外推
研究了相对位置嵌入在语言模型上的应用，提出了基于对齐假设的自注意力机制，在训练过程中对齐输入，在测试过程中保证了相对位置嵌入的性质。提出的 Sandwich positional embedding 将比训练序列更长的信息融入模型之中，且由
PDFa year ago
BLOOM: 一种含 176B 个参数的多语言开放访问语言模型
BLOOM 是一个 176B 参数的解码器 - 只有 Transformer 语言模型，它使用 ROOTS 语料库进行训练，并在多任务提示微调后达到了竞争力强的结果。该研究呼吁公开此类研究并在负责任的 AI 许可下发布其模型和代码，以便未来
PDF2 years ago
UPainting: 统一的跨模态引导文本到图像扩散生成
本文介绍了 UPainting 这个同时适用于简单和复杂场景图像生成的模型，利用预训练的 Transformer 语言模型作为文本编码器，结合预训练的图像 - 文本匹配模型进行跨模态引导，提高了生成图像的样本保真度和图像 - 文本对齐程度。
PDF2 years ago
基于深度学习的电商页面创建，提高有机搜索流量
本文报告了一种基于 Transformer 语言模型的电子商务网站有机搜索营销管理系统，旨在通过创造更广泛的覆盖客户意向的落地页，提高公司在该渠道上的点击率。我们成功地处理了数百万个新着陆页的创建和部署过程，并展示和讨论了最先进的语言表示学
PDF2 years ago
从自动挖掘的同义句训练有效的神经句子编码器
本文提出了一种无需人工标注的数据集构建方法，使用双语文本语料来 fine-tune Transformer 语言模型，并加入一个循环池层构建出有效的特定语种句子编码器，该方法在单张图形卡上使用不到一天时间训练，在波兰语的八个语言任务上实现了
PDF2 years ago
BERT 能否预测对比焦点？使用语言模型在神经 TTS 中预测和控制突出显示
研究了利用 Transformer 语言模型表示推断文本到语音合成（TTS）中的韵律特征，着重于个人代词的对比焦点预测，采集了一些包含对比焦点的语言数据样本，并使用微调的 BERT 模型预测量化的声学显著性特征，并研究过去的语言数据如何对该
PDF2 years ago
EMNLPPoeLM: 用于无监督诗歌生成的节律和押韵可控语言模型
本研究提出了一种无监督的方法来生成符合任何指定的韵律和押韵方案的诗歌，利用变形器语言模型通过在常规的非诗歌语料库中拆分短语，并在每个短语前添加描述其长度和结束韵的控制代码进行训练。实验表明，这种方法能够生成有效的诗歌，并且与人类写的诗歌在质
PDF2 years ago
训练最优的大型语言模型
本文研究在给定计算预算下训练变换器语言模型的最佳模型大小和标记数量，并发现对于计算优化的训练，模型大小和训练标记数量应该等量缩放。同时测试了此假设通过训练一个预测计算最优模型的 Chinchilla，该模型在大范围的下游评估任务中均匀且显著
PDF2 years ago
EMNLPKnowMAN: 弱监督多项式对抗网络
通过利用标注函数对弱监督学习进行控制，我们提出了 KnowMAN 方法，该方法避免过度依赖标注函数所捕捉到的特定信号，从而改善与预训练转换器语言模型和基于特征的基线相比的结果。
PDF3 years ago
EMNLP用记忆和知识增强的语言模型推断长篇故事的关键性
本研究利用 Barthes Cardinal Functions 和 surprise 和理论为基础的无监督方法，将其应用于长篇叙事形式中，改进了标准 transformer 语言模型，通过引入 Retrieval Augmented Ge
PDF3 years ago
ACL少样本上采样用于抗议规模检测
提出了一个新的任务和数据集，旨在利用问答的形式将粗糙的文本标签提升为细粒度标签，以便在英语新闻文本中识别示威活动的实际人数，并通过零样本学习，微调和弱监督等多个模型进行了评估。
PDF3 years ago
Doc2Dict: 信息提取作为文本生成
使用 transformer 语言模型直接生成结构化 JSON 的方法可有效提高信息提取效率，通过 Gradient Checkpointing 技术和分块编码将其应用于单个 GPU 的长文本处理，并发布了 Doc2Dict 模型及代码来促
PDF3 years ago
ACLIndT5：一个用于 10 种土著语言的文本到文本转换器
本研究介绍了 IndT5，这是首个用于土著语言的 Transformer 语言模型。研究建立了十种土著语言加西班牙语的数据集 IndCorpus，使用 IndT5 实现了西班牙语和土著语言之间的机器翻译。
PDF3 years ago
ICLR消除非正式文档中符号表达式的歧义
利用 Transformer 语言模型针对 LaTeX 文件中的符号表达式进行自然语言处理并进行语法与语义分析。
PDF3 years ago
CVPR实体感知新闻图像标题生成
该研究提出了一种端到端模型，用于为嵌入新闻文章的图像生成标题。该模型采用多模态，多头注意力机制，结合字节对编码的转换器语言模型来应对命名实体识别、多义词汇等问题，并在 CIDEr 评分上实现了当前最高水平的四倍提升。
PDF4 years ago
基於 Transformer 語言模型的抽取式和生成式神經文件摘要
本文采用神经抽象总结的方法来产生长文档的抽象总结，该方法使用一个简单的抽取步骤来生成一个摘要，然后将其用作相关信息的转换器语言模型的条件，然后生成一个摘要。我们展示了这个抽取步骤显著地改善了总结结果，而且这种方法产生的抽象总结比以前采用复制
PDF5 years ago