text infilling | BriefGPT - AI 论文速递

关键词text infilling

搜索结果 - 7

具有遮蔽语言模型的概率声学束搜索
利用掩码语言模型进行束搜索（beam search）困难的部分在于序列的联合概率分布不能轻易获取，这限制了其在蛋白质工程和古代文本修复等许多领域的应用。本研究提出了一种概率上具有合理性的束搜索方法，通过理论和实证研究表明，在特定条件下的文本
PDF4 months ago
EMNLP挖掘式零样本学习：基于语言模型的搜索方法
本文提出了一种使用正则表达式从未标记语料库中挖掘标记示例的替代模板提示方法，通过微调预训练模型，相比模板提示方法更加灵活和可解释，在使用相似模板时在多个任务中表现出更好的性能。
PDF2 years ago
EMNLP关于双向性在语言模型预训练中的作用
本文探讨了语言模型预训练的双向性作为不同方法的关键因素，并提出了一个新的框架，能够控制双向上下文和双向注意力等两种表现形式。研究表明，最佳配置因应用而异，但大规模双向模型的作用值得探究。
PDF2 years ago
文本补全和词性预测的适应性预测
本研究提出基于收缩预测算法的文本填充和词性预测算法，并将其应用于自然语言数据处理中。通过在波士顿语料库中进行仿真实验，结论表明该算法能够生成有效的置信区间，并在机器语音转录中有改进应用。
PDF3 years ago
ACL让语言模型填充空白
本文提出一种名为 Infilling by Language Modeling 的文本补全方法，它采用了一个预训练的语言模型来预测文档中的任意位置缺失的文本，并在短篇小说、科学摘要和歌词三种不同领域有效地补全整个句子。研究结果显示，采用这种
PDF4 years ago
ACLTIGS: 基于梯度搜索的文本填充推断算法
本文提出了一种基于梯度搜索的迭代推断算法，以解决文本填充任务中现有贪心近似推理算法无法应对上下文条件缺失符号生成的挑战，该算法可广泛应用于任何神经序列生成模型。实验结果表明，该算法在不同遮罩比例和遮罩策略的三个文本填充任务中表现出有效和高效
PDF5 years ago
文本填充
本文研究了文本生成和填充相关的问题，设计并实现了一种基于自注意力和双向上下文建模的模型，并通过有监督的学习方法进行了实验验证。结果表明，该模型在文本填充任务上表现出色，为未来的相关研究提供了强有力的基线。
PDF6 years ago