Feature Reading

上下文窗口涨了120倍,英伟达研究员却说这是死路

通过更稳定的内容版面、清楚的上下文信息与推荐阅读衔接,让文章阅读节奏保持专注与延续。

上下文窗口涨了120倍,英伟达研究员却说这是死路页面展示图
Match Insight

上下文窗口涨了120倍,英伟达研究员却说这是死路

尊龙娱乐竞技平台 569 阅读 约 5.5 分钟

语言模型现在能一口气读完一整本小说。英伟达的一个研究团队认为,这往往是杀鸡用牛刀,而且很贵。 先解释一下上下文窗口是什么。它是模型的工作记忆,覆盖生成回复时它能"看见"的全部内容。过去几年,这个窗口膨胀得很快。 GPT-4 在2023年3月发布时是 8,192 个token。如今 GPT 5.6 Sol 能处理约 100万 个token,约为前者的 120倍 ,足够装下托尔斯泰的《战争与和平》。 但英伟达研究团队的观点是:窗口大不等于好用。在多项测试中,定期摘要加上定向查找,效果和塞满整个窗口差不多。 对天天和模型打交道的打工人来说,这个结论有点扎心。大家默认的升级路径是"上下文越长越强",可如果摘要加检索就能达到相近效果,那把整本书硬塞进去,付出的成本换回来的可能只是心理安慰。 窗口该开多大,或许得看任务,而不是看参数表上的数字。 特别

about image
觉得有用?分享给朋友

让更多人看到这篇内容

推荐阅读

把相关内容放在阅读收束之后,有助于自然延伸浏览路径并提升继续阅读意愿。