text generation | BriefGPT - AI 论文速递

关键词text generation

搜索结果 - 391

PIXAR: 像素空间中的自回归语言建模
PIXAR 是第一个基于像素的自回归型语言模型，它不依赖预定义的词汇表，可以用于自由形式的生成任务，并与先前的编码器 - 解码器模型在文本表示学习性能方面保持一致。通过简单的对抗预训练，PIXAR 的可读性和性能得到了显着提高，使其在短文本
PDF6 months ago
波斯语 LLaMA: 迈向建立首个波斯语大型语言模型
本研究介绍了第一个大型波斯语语言模型 PersianLLaMA，在波斯文本和数据集上训练，通过最新的评估方法在波斯文本的生成和理解任务中表现出色，对于发展波斯语自然语言处理，特别是文本生成方面如聊天机器人、问答、机器翻译和文本摘要等任务可作
PDF6 months ago
基于 Transformer 的关键词生成的跨领域鲁棒性
通过对领域之间的文本进行预训练和微调，我们探索了抽象文本摘要模型在关键词选择任务中的效果，并发现在样本数量有限的情况下，领域间的转移学习可以提高模型性能。
PDF7 months ago
大语言模型时代的文本水印调查
通过文本水印技术，在生成的文本中嵌入不可见但可检测的模式，有助于追踪和验证文本来源，从而防止滥用和盗版。该综述对当前的文本水印技术进行了全面总结，包括不同技术的概述和比较、算法的评估方法以及可能的应用领域，以帮助研究人员全面了解文本水印技术
PDF7 months ago
Vista-LLaMA: 基于视觉标记等距离的可靠视频叙述器
对于大文本的视觉问题，当前的方法存在产生相关文本的概率较高的问题。本文提出了 Vista-LLaMA 框架，采用了一种新的注意机制，通过保持视觉和文本间的一致距离，特别在相对距离较长的情况下提高了视觉令牌对于文本生成的影响，从而显著降低了生
PDF7 months ago
解锁预期文本生成：一种受限方法用于大型语言模型的忠实解码
通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的
PDF7 months ago
评估方言机器翻译度量的基准（无标准拼写法）
评估自然语言处理中评价指标对非标准化方言的鲁棒性，发现现有指标在对瑞士德语文本生成输出的评估上存在困难，提出了增加鲁棒性的初步设计方案。
PDF7 months ago
突破图灵：检测机器生成文本方法的比较分析
通过对三种不同方法进行深入评估，即传统的浅层学习、语言模型（LM）微调和多语言模型微调，本文对文本生成的重要性有了显著进展，尤其是在区分人类和机器生成文本方面，结果表明这些方法在性能上存在显著差异，强调了在自然语言处理领域中继续推进的重要性
PDF8 months ago
精准指点，而非批评：通过精细的可操作反馈改进大型语言模型
使用细粒度的可行操作反馈，基于学习的错误定位模型预测的错误类型、错误位置和严重程度，提出了 FITO（一种推理时间优化方法）来进行迭代改进，通过一个生成改进输出的改进模型，迭代地结合反馈。我们在三个文本生成任务上进行了实验，包括机器翻译、长
PDF8 months ago
EMNLP通过隐式分类将令人印象深刻的 LMM 生成文本识别为令牌预测
本文介绍了一种新颖的方法，用于识别可能参与文本生成的大规模语言模型（LLMs）。我们采用了一种将分类任务重新构建为下一个标记预测任务的方法，并直接微调基本语言模型来执行此任务。我们使用 Text-to-Text Transfer Trans
PDF8 months ago
REST: 基于检索的推测解码
通过检索式推断解码（REST），可以加速语言模型的生成，实验证明这种方法在代码或文本生成中可以实现 1.62 倍至 2.36 倍的显著加速。
PDF8 months ago
基于模型的最小贝叶斯风险解码
在文本生成任务中，我们提出了基于模型的 MBR（MBMBR）方法，它使用模型概率本身作为概率分布的估计值，通过理论和实验证明模型估计优于蒙特卡洛估计，并且在多个文本生成任务中，包括编码 - 解码模型和大型语言模型中，MBMBR 表现优于 M
PDF8 months ago
人类记忆和大型语言模型的方面
大型语言模型（LLMs）是巨大的人工神经网络，主要用于生成文本，但同时也提供了一个非常复杂的语言使用概率模型。我们调查了 LLMs 的记忆特性，并发现它与人类记忆的关键特征存在惊人的相似性，这一结果强烈暗示了人类记忆的生物特征对我们构建文本
PDF8 months ago
一个简单而高效的集成方法用于 AI 生成文本检测
近期大型语言模型（LLMs）在各种风格和体裁的文本生成方面展示了惊人的能力。然而，这种能力容易被滥用，如虚假新闻生成、垃圾电子邮件创建以及在学术作业中的误用。因此，建立能够区分人工生成文本和人类作者文本的自动化方法至关重要。本文提出了一种简
PDF8 months ago
用于高效多主题控制文本生成的继承特征
大型语言模型（LLMs）在生成流畅和逼真的文本方面取得了令人印象深刻的性能，但控制生成的文本以展现安全性、真实性和无毒性等属性仍然具有挑战性。本研究提出了 SF-GEN，它基于两个主要概念：后继特征（SFs）用于将 LLM 的动态与任务特定
PDF8 months ago
超越 MLE：文本生成的凸学习
基于凸函数的训练目标提供了一种新颖的方法，使得文本生成模型能够聚焦于高概率输出，同时增强了自回归模型与非自回归模型的生成能力。
PDF8 months ago
EMNLPGPT 生成的英文文本中的性别偏见的规范评级
语言作为一种强大的工具，用于展示社会信仰体系，同时也延续了我们社会中普遍存在的偏见。性别偏见是我们社会中最普遍的偏见之一，在线和离线话语中都有所体现。随着语言模型越来越接近人类的流利程度，我们需要深入了解这些系统可能产生的偏见。先前的研究通
PDF8 months ago
EMNLP代码交替文本的机器翻译数据增强技术：比较研究
在埃及阿拉伯语 - 英语混合代码生成中，我们比较了词汇替换、语言理论和回译三种流行的增强方法，通过人工评估评估了这些方法在机器翻译上的效果和增强质量。结果显示，基于回译和基于代码交替预测的词汇替换方法在两个任务中表现最佳，而在缺少代码交替并
PDF8 months ago
DetectGPT-SC: 通过掩码预测的自一致性提升大型语言模型生成文本的检测
ChatGPT 的自我一致性在文本生成和延续方面表现出较强的特点，这一特性被用来提出了一种检测 AI 生成文本的新方法 DetectGPT-SC，并在各种实验中展现了良好的性能。
PDF8 months ago
EMNLP知识增强的语言模型验证
通过使用独立验证器处理语言模型的输出和知识，本研究提出了一种验证方法，以解决语言模型在生成文本时可能存在的错误。结果表明，该验证器可以有效地识别检索和生成错误，使语言模型能够提供更准确的结果。
PDF9 months ago