- 利用同形异义字规避 AI 生成的内容检测器
本研究通过分析同形异义字如何转移文本的记号化和标记的对数似然值，对比了现有大语言模型检测器在五个不同数据集上与同形异义字攻击的有效性，发现同形异义字攻击可以有效躲避现有的大语言模型检测器， 讨论了这些发现的影响以及可能的防御方法。
- CUDRT：人类与大型语言模型生成文本的检测基准
本文构建了一个综合的中英文双语标杆来评估主流的 AI 生成文本检测器，并将 LLM 文本生成划分为创建、更新、删除、重写和翻译五个不同的操作，为各种场景提供优化 AI 生成文本检测器的关键洞察和改进方向。
- 通过 PDFA 学习分析受限 LLM
定义了一种与在文本生成过程中通过某种方式约束语言模型输出时产生的零下一个符号概率相适应的同余。我们开发了一种算法，以高效地学习与此同余相关的商集，并在分析 LLM 的统计特性的案例研究中对其进行评估。
- IJCAI马尔可夫约束作为大型语言模型代理
NgramMarkov 是一种基于约束编程的文本生成方法，通过使用大型语言模型中的 n-gram 序列和概率限制文本生成，实验结果表明该方法能够显著减少产生的候选句子数量、改善计算时间，并能使用更大的文本语料库和更小的 n-gram。
- 改进基于逻辑回归的检测器中不使用黑盒 LLMs 的逻辑回归
大规模语言模型在文本生成方面产生了重大影响，难以区分机器和人类生成的文本的界限提出了新的挑战，而且阻碍了黑盒 LLMs 的准确检测方法。为了解决这些限制，提出了一种创新的框架 Distribution-Aligned LLMs Detect - ACL评估利用 LLMs 进行文本生成中属性强度的平滑控制
大语言模型（LLM）的平滑控制在文本生成中具有重要意义，本论文提出了评估生成文本属性强度范围、校准度和一致性以及其与预期语境的相关性的度量指标，通过引入 Elo 评级系统和 GPT4 的评估方法来量化属性强度和上下文相关性，并研究了两种无需 - 利用合成标题改进图像文本生成
通过使用 SDXL，我们提出一种低成本的微调技术来改善不同情况下文本生成的准确性，并通过将随机字符添加到原始数据集中来提高模型在生成良好形式视觉文本方面的性能。
- 嵌入对齐的语言模型
我们提出了一种新颖的方法，通过在潜在嵌入空间中定义目标，对大型语言模型（LLMs）进行训练。我们的方法利用强化学习（RL），将预训练的 LLM 作为环境。我们训练的嵌入对齐引导语言（EAGLE）代理程序通过迭代地引导 LLM 的生成，使其指 - 大型语言模型修剪
本研究提出了一种针对 LLMs 的模型修剪技术，强调深度学习模型的可解释性，并通过互信息估计和调参来指导修剪过程。同时，还探讨了大规模模型和小规模模型的修剪差异，并展示了所提出模型相对于现有模型的优越性。
- 线性受控语言生成与执行保证
使用控制性语言生成策略，通过对概念语义的线性表示在潜空间中实现文本生成的量化处理，以确保性能保证，并通过在闭合形式中计算的小型无梯度干预实现动态轨迹偏离不希望的含义区域，从而避免不良内容并保持文本质量。
- 文本生成：任务、评估和挑战的系统文献综述
文本生成领域的文献回顾研究了 244 篇论文，将文本生成的工作分类为五个主要任务，并分析了相关特点、子任务和具体挑战。此外，研究还评估了目前的评估方法，并确定存在的问题。研究指出了九个主要挑战，并提供了详细分析和解决方案，以及进一步研究需求 - Vikhr: 面向俄语的开源指令调优大语言模型家族
为了解决非英语文本生成的挑战，如生成质量差和计算性能下降等问题，本研究介绍了一种专为俄语设计的开源指令调整大型语言模型 Vikhr，通过适应性分词词汇表、持续预训练和指令调整权重等方法，提高模型性能和计算效率，并在俄语基准测试中取得显著成果 - 探索文本生成的屏蔽语言建模和因果语言建模
这篇论文比较了掩码语言模型和因果语言模型在文本生成任务上的表现，发现掩码语言模型在生成文本时具有更好的质量和连贯性，并且对下游任务的性能没有明显影响，从而显示了掩码语言模型在文本生成方面具有巨大的潜力并指导了未来研究的方向。
- ICLR揭示和操控大型语言模型中的提示影响
通过使用 Token Distribution Dynamics 方法，我们揭示了 Prompt 输入对于生成大型语言模型 (如 GPT) 输出的重要作用，该方法显著优于现有的基线方法，并且在控制文本生成方面具有潜力应用于抑制有害语言和调节 - 大型语言模型中的加速生成技术综述
这篇论文综述了大型语言模型中加速文本生成的关键技术，包括推测解码、提前退出机制和非自回归方法，并对它们的原理、优势、限制和最新进展进行了讨论，旨在为自然语言处理领域的未来研究方向提供指导。
- 文本生成可解释性中的挑战与机遇
解释性在自然语言处理中的必要性随着大型语言模型的突出地位的不断提升而增加。该论文概述了在属性解释性方法的开发和评估过程中出现的 17 个挑战，包括词条化、定义解释相似性、确定词条重要性和预测变化度量、人类干预的水平以及适合的测试数据集的创建 - 检索增强型零样本视频字幕生成
该论文提出了一种利用现有的大规模视觉和语言模型进行测试时间适应性直接生成字幕的方法，通过使用多个关键模型来桥接视频和文本，并使用可学习的令牌来传递信息。在实验中，该方法在多个数据集上取得了与现有最先进方法相比的 4％至 20％的 CIDEr - 利用知识图谱的检索增强生成模型用于客户服务问答
我们介绍了一种将 RAG 与知识图谱相结合的新型客户服务问答方法，通过保留内部问题结构和问题间关系，从历史问题中构建知识图谱用于检索，提高检索精度和解答质量。该方法在实证评估中显示，相对于基准模型，该方法在 MRR 上提升了 77.6%，在 - ACL基于解码器的预训练语言模型的多语言能力：发现和控制语言特定神经元
当前基于解码器的预训练语言模型（PLMs）成功展示了多语言能力，但这些模型如何处理多语言仍不清楚。我们分析了多语言解码器 PLMs 的神经元级内部行为，特别是考察解码器 - 仅多语言 PLMs 内部是否存在 “独特地只为每种语言” 激活的神 - 增强基于文本的刻板印象检测和基于探针的偏见评估的大型语言模型审计
大规模语言模型在人工智能应用领域有显著的进展，但存在刻板输出的问题。本研究介绍了多维度刻板模式数据集，探索了基于不同机器学习方法的刻板模式检测基线，通过调整语言模型架构和大小，构建了英文文本的一系列刻板模式分类器模型，并使用可解释性人工智能