information retention | BriefGPT

关键词information retention

搜索结果 - 7

ACL高压缩比下的关键信息保留：基于查询引导的 LLMs 压缩器
在高压缩比率下保留关键信息对于维持大型语言模型性能的重要性以及引入使用查询来指导上下文压缩过程的 Query-Guided Compressor (QGC) 的有效性进行了验证，并展示了 QGC 在问题回答任务上能够在高压缩比率下始终表现良
PDFa month ago
通过信息保留实现 LLMs 的精确 LoRA 微调量化
该论文提出了一种新颖的 IR-QLoRA 技术，通过信息保留实现了对量化 LLMs 的高精度，综合实验证明 IR-QLoRA 能显著提高 LLaMA 和 LLaMA2 系列的准确性，在 2-4 位宽下与现有方法相比，4 位 LLaMA-7B
PDF5 months ago
MEMORYLLM: 迈向自我可更新的大型语言模型
MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。
PDF5 months ago
高效多尺度关注模块与交叉空间学习
本文提出了一种新型的高效多尺度注意力（EMA）模块，通过重新调整通道信息，并将通道分组到多个子特征中，实现对空间语义特征的良好分布，在图像分类和目标检测任务中取得了显著性能。
PDFa year ago
使用对话式语言模型和提示工程从研究论文中提取准确的材料数据 —— 以 ChatGPT 为例
本研究提出了 ChatExtract 方法，该方法利用先进的会话型 LLM（或 AI）自动提取数据，并通过一系列后续问题确保其正确性。 ChatExtract 可用于任何会话型 LLMs，结果表明，由于其简单性，可转移性和准确性，类似 Ch
PDFa year ago
面向分布的信息保留的精确二值神经网络
本文介绍了一种名为 DIR-Net 的神经网络二值化方法，通过改进内部传播和引入外部表示来保留神经网络信息；采用信息最大化二值化（IMB）、分布敏感二段估计器（DTE）和表示对齐二值化感知蒸馏（RBD）等三项技术，该方法在 ResNet、V
PDF3 years ago
预测课堂讨论中的特异性
研究展示了课堂讨论的质量对学生发展至关重要，因为其增强了表达要点、推理其他学生要点和长期保留信息的能力。该研究着眼于预测课堂讨论的特定性，并提出了几种方法和特征集，能够胜过现有技术。此外，研究提供一套有意义、可解释的功能，可用于教学层面的课
PDF5 years ago