
让大模子像东谈主类相似阅读!通过精读略读竣事性能与后果的双重飞跃。
在长高下文场景中,Transformer 架构的二次酌量复杂度让推理速率急剧下落,而东谈主类濒临长文档时却能无拘无束——咱们不会逐字阅读整本演义,而是对要道情节精读,对配景形色略读。

来自清华大学、鹏城实验室与阿里巴巴畴昔生涯实验室的救济商讨团队发现:现存任务关连的压缩步伐不仅堕入后果瓶颈——要么一次性加载全文(后果低),要么自总结逐渐压缩(速率慢),更难以兼顾"保留要道信息"与"保捏当然言语可解释性"。


受东谈主类阅读解析启发,他们提议全新框架 RAM(Read As HuMan),初度将"精读 + 略读"的搀杂政策引入高下文压缩,不仅在多个长文本基准上获得超卓发达,更在平均 1.6 万 token 的输入上竣事12 倍端到端加快。
像东谈主类相似阅读:精读蹙迫执行,略读配景执行

商讨团队从解析科学中吸收灵感:东谈主类阅读时会动态分拨注主意——对与目标高度关连的执行进行精读(close reading),保留一谈语义细节;对次要配景信息袭取略读(skimming),快速索求中枢语义。
RAM 将这一转为漂浮为可酌量的自安妥压缩政策:
精读区:高关连片断完竣保留原始文本,确保要道信息零亏欠,防守当然言语可解释性
略读区:低关连片断通过查询指引压缩为单个语义向量,极致削减冗余执行
搀杂暗示:精读文本与略读向量按原规则拼接,酿成"显式 + 隐式"搀杂高下文,既保留要道细节又大幅缩利害度
更要道的是,RAM 突破了现存步伐的后果瓶颈:统统片断与查询并行编码,透顶躲闪了全文一次性加载的二次复杂度,也开脱了自总结压缩的串行恭候,信得过竣事"压缩即推理"的高效活水线。
授东谈主以渔:让模子学会"何时精读、何时略读"
仅有政策不够,何如让模子精确判断"哪些执行值得精读"?RAM 引入对比学习优化决议畛域:
愚弄正负样本对(含谜底片断 / 无关片断)检察查询 - 片断关连性判别器
通查询指引的注主意计总酌量片断蹙迫性,动态决定段落的保留(精读)和压缩(略读)
略读历程袭取查询指引加权平均:对每个 token 酌量与查询的相似度,聚焦索求与任务关连的语义"精华"
这种贪图使 RAM 在检察阶段仅需单次检察,即可泛化至多种任务(问答、纲目)与恣意压缩比例(2x – 32x)。更令东谈主惊喜的是,尽管检察时最大长度仅 2 万 token,RAM 在 3.2 万 tokens 的 NarrativeQA 测试中性能反超未压缩原文,展现出弘远的长度外推能力——它学会的不是追溯固定格式,而是组合式语义表征。
履行出真知:后果与性能的双重飞跃多种任务上发达出色
在 NaturalQuestions、HotpotQA 等四大问答基准与 MultiNews 纲目任务上,RAM 以 LLaMA-3.1-8B 和 Qwen3-4B 为基座,在 4x/8x 压缩下均展现出优胜性能。以 Qwen3-4B 为例,4x 压缩时 EM 分数达 66.59(输入原文时 32.77),解释压缩非但未挫伤性能,反而通夙昔噪陶冶了推理质地。

12 倍加快,长文秒级反应
在平均 1.6 万 token、最长 3.2 万 token 设置的 NarrativeQA 数据集上,RAM 端到端蔓延仅0.20 秒(32x 压缩),比较于输入原始教唆词(端到端时延 1.23 秒)——提速约 6 倍。压缩阶段耗时仅 0.08 秒,信得过竣事"压缩老本可忽略"。

压缩鲁棒性:从 2x 到 32x 稳如磐石
当压缩率从 2x 陶冶至 32x,RAM 的 EM 分数仍厚实高于基线。这解释 RAM 在各式压缩率下的发达具有鲁棒性,从 2 倍压缩率到 32 倍压缩率稳如磐石。

总结
RAM 的职责为长高下文 LLM 部署提供了新范式:它不再将压缩视为"不得已的融合",而是通过模拟东谈主类解析政策,将后果与性能漂浮为协同增益。
步伐论转变:初度将"精读 + 略读"搀杂政策算法化,封锁后果 - 保真度量度
工程突破:并行化贪图使压缩老本趋近于零,信得过吹法螺工业级及时需求
解析启示:解释鉴戒东谈主类信息惩办机制,可为 AI 系统贪图提供弘远灵感
当大模子学会像东谈主类相似"有要点地阅读",长文本不再是包袱,而是可高效独霸的学问海洋。RAM 不仅压缩了高下文长度,更压缩了 AI 与东谈主类解析之间的距离。
论文标题:
Read As Human: Compressing Context via Parallelizable Close Reading and Skimming
论文聚合:
https://arxiv.org/abs/2602.01840
代码聚合:
https://github.com/Twilightaaa/RAM
一键三连「点赞」「转发」「提神心」
接待在挑剔区留住你的念念法!
— 完 —
咱们正在招聘又名眼疾手快、怜惜 AI 的学术剪辑实习生 � �
感有趣的小伙伴接待怜惜 � � 了解折服

� � 点亮星标 � �
科技前沿进展逐日见实盘配资门户网_股票配资平台开户门槛与规则说明
实盘配资门户网_股票配资平台开户门槛与规则说明提示:本文来自互联网,不代表本网站观点。