- 增强基于文本的刻板印象检测和基于探针的偏见评估的大型语言模型审计
大规模语言模型在人工智能应用领域有显著的进展，但存在刻板输出的问题。本研究介绍了多维度刻板模式数据集，探索了基于不同机器学习方法的刻板模式检测基线，通过调整语言模型架构和大小，构建了英文文本的一系列刻板模式分类器模型，并使用可解释性人工智能 - LLM 鉴别器：交互式视觉鉴别器用于 LLM 生成
大型语言模型生成文本的合理性以及模型行为的检查和优化的可视化工具：LLM Attributor。
- 揭示大规模视觉语言模型中的偏见
通过对不同的大型视觉 - 语言模型（LVLMs）生成的文本进行大规模研究，我们发现输入图像中所描绘的社会属性（如种族、性别和外貌特征），能够显著地影响生成文本的毒性和与能力相关的词汇。
- 先列举特征，再生成：局部可归因的文本生成
本文提出了一种名为 “先选后生成” 的本地可归属文本生成方法，通过将传统的端到端生成过程分为三个直观步骤：内容选择、句子规划和顺序句子生成，从而确保相关源片段同时充当输出的细粒度归属，以此解决了大规模语言模型中幻觉问题，并在多文档摘要和长篇 - 高效级联跳跃解码的自回归文本生成
通过提出一种名为分级跳跃解码（HSD）的新型解码策略，我们可以减少计算工作量和分配计算资源，从而在效率和文本质量之间取得平衡，实验证明 HSD 在文本生成任务中具有优势。
- Vi-Mistral-X: 基于高级连续预训练的越南语语言模型构建
本论文介绍了一种针对越南语设计的创新型大型语言模型 vi-mistral-x，利用连续预训练的独特方法，通过 Mistral 架构结合了分组查询注意力和滑动窗口注意力技术，大幅提升了对越南语的理解和生成能力，在文本分类、问题回答和文本生成等 - DRAGIN：基于大型语言模型实时信息需求的动态检索增强生成
Dynamic Retrieval Augmented Generation framework (DRAGIN) improves the strategies for deciding when and what to retrieve - ProSwitch: 知识引导的语言模型微调，生成专业和非专业风格的文本
本研究介绍了一种名为 ProSwitch 的新型方法，通过知识引导的指导调优，使语言模型能够在专业和非专业响应之间切换，从而提供了一种解决文本专业性问题的能力。与通用和专用语言模型的比较分析显示，我们的方法在专业和非专业文本生成之间的切换方 - 基于 LSTM 的文本生成：关于历史数据的研究
该论文探讨了在文本生成中应用长短期记忆（LSTM）网络，重点关注历史数据集在莎士比亚和尼采作品中的应用。研究表明，在历史数据集上训练的基于 LSTM 的模型不仅可以生成语言丰富且相关的文本，还能提供语言模式随时间演化的见解。该研究为自然语言 - QAQ: LLM KV 缓存的质量自适应量化
提出了 QAQ，一种针对 KV 缓存的质量自适应量化方案，通过集成专用的异常值处理和改进的注意力感知方法，QAQ 在对模型性能几乎没有影响的情况下，实现了 KV 缓存大小最大 10 倍的压缩比，显著减少了部署 LLM 的实际困境，并为更长上 - WaterMax：打破 LLM 图像水印可检测性、鲁棒性和质量的平衡
该研究提出了一种名为 WaterMax 的新型水印方案，它能够在保持原始大语言模型生成文本质量的同时，具有很高的可检测性，相对于现有文献中的水印技术，WaterMax 在鲁棒性和复杂性之间取得了平衡，并且在最全面的基准套件中表现优于所有先前 - 通过提示工程增强情绪操纵在人工智能大型语言模型中的虚假信息生成
OpenAI 大型语言模型通过提示工程生成合成的虚假信息，本研究探讨了它们对情感提示的响应，并设计了实验来评估它们产生虚假信息的成功程度，研究发现 OpenAI 的所有语言模型都能成功产生虚假信息，并且它们有效地对情感提示作出回应，表明它们 - AI 生成文本鉴定系统综述：检测、归因和描述
本文回顾了 AI 生成文本法医学系统的现有研究工作，通过引入细致的分类体系，重点讨论检测、归因和表征三个主要方面，以实现对 AI 生成文本的实际理解，并探讨了在 AI 时代中法医系统的进展挑战和未来发展方向。
- 高级推理解码的预备模型直接对齐与聊天细调语言模型
通过提出一个简单的草稿模型训练框架，直接对齐与聊天目标模型，我们通过个别的预训练、蒸馏数据集生成以及知识蒸馏的微调，成功训练了仅为原始模型大小的 1.64% 的 Llama 2 Chat Drafter 115M，该模型结合了先进的推测解码 - 比较摘要模型需要多少注释？
在这项研究中，我们通过实证研究了在新闻摘要领域选择最佳性能的模型所需的测试样本大小，发现只需要少于 100 个样本即可收敛，并且人类偏好数据可以在各种下游摘要任务中量化自动评分的能力。
- 拯救英雄伊巴什的遗产：评估四个语言模型对氨基酸的作用
本研究在未开发充分的氨基酸语言中评估了四个前沿的语言模型，通过评估研究它们在文本生成、语义连贯性和情境理解中的适应性、有效性和局限性。通过揭示这些模型在低资源语言中的性能，这项研究开创了弥合语言差距的途径，通过提供基准并了解挑战，为自然语言 - 大型语言模型的细粒度排毒与实例级前缀
使用细粒度去毒化的方法通过添加正向和多个负向前缀构造细粒度的次毒性向量，从而在提供原始提示时协同去毒，进而实现对毒性文本的控制生成。
- 见之于眼：通过 CLIP 引导解码减轻大型视觉语言模型产生的幻觉
大规模视觉语言模型容易出现对象幻觉问题，本文提出了使用 CLIP 引导解码的方法来减少对象幻觉，通过增强生成文本与图像之间的视觉联系，有效缓解了多个视觉语言模型家族中的对象幻觉问题，并且保持了文本生成的实用性。
- ACLCEV-LM：控制编辑向量语言模型用于塑造自然语言生成
本文介绍了 CEV-LM，一种轻量级半自回归语言模型，利用约束编辑向量来控制文本的速度、音量和曲折度这三个衡量文本形状的指标，研究表明 CEV-LM 能够更精确地控制这三个指标，同时保持语义内容、使用更少的训练数据和参数。
- 塞尔维亚语的新语言模型
本文简要介绍了用于塞尔维亚语的基于 Transformer 的语言模型的发展历史，同时还提出了几个使用塞尔维亚语资源进行训练的文本生成和矢量化模型。在四个自然语言处理任务上比较了十个选择的塞尔维亚语矢量化模型，包括两个新的模型。本文分析了在