4GB VRAM Runs 70B, 12GB Runs 671B: Dissecting AirLLM's "Layer-wise Streaming" Magic
Created|Updated|Tech Sharing
|Post Views:
Author: 棋飞
Copyright Notice: All articles on this blog are licensed under CC BY-NC-SA 4.0 unless otherwise stated.
Related Articles
2026-09-29
4GB 显存跑 70B,12GB 跑 671B:拆解 AirLLM 的"分层流式"魔法
大模型圈有一类话题永远有热度:”我家显卡只有 X GB,能跑多大模型?” 以前这个问题的答案很残酷——8B 要 16GB,70B 要 80GB,405B 得上 4 卡 H100,Kimi K3 这种 2.8T 的怪物根本别想本地玩。但 GitHub 上有个叫 AirLLM 的项目,把这套心智模型掀了个底朝天: 模型 参数量 AirLLM 实测 VRAM Qwen3-8B / Mistral-7B 8B ~1–2 GB Qwen3-30B / Mixtral 30–47B ~1–3 GB Qwen3.8-27B (含视觉) 27B 3.33 GB Qwen3.8-Flash-Next ~180B (MoE + PLE) 5.95 GB Qwen3-235B 235B ~3 GB Llama 3.x 70B 70B ~4 GB Llama 3.1 405B 405B ~8 GB DeepSeek-V3 671B ~12 GB Kimi K3 2.8T 3.72 GB 你没看错——671B 全量化训练挂一层在 12GB...
2026-10-13
Strata 实测:64G 内存 + 16G 显卡本地跑 125B 千亿大模型,速度 30 token/s
大模型圈有一个流传很久的梗:“我家显卡只有 8G,能跑什么模型?” 过去这个问题的答案相当残酷——8B 要 16G,70B 要 80G,125B 干脆属于服务器。但最近冒出来的开源项目 Strata 把这套心智模型掀了:它利用显存、内存、SSD 的三级调度,让一台 i5-12400 + 64G 内存 + 16G 5060Ti 的普通电脑,实测跑起了 125B 千亿参数的 MoE 大模型,输出速度稳定在 30+ token/s,上下文开到 128K。 我在这台机器上完整跑了一遍从下载到对话的流程,把 Strata 的原理、硬件门槛、四个引擎版本的差异,以及用 AI 编程助手替代手敲命令的部署方法都整理了出来。结论先给:这套方案对”想玩千亿模型但只有游戏卡”的人是真门槛降低了一截,但对磁盘和内存的要求一点没松。 一、实测环境:配置真的很普通先说结论的前提——这台机器没有任何服务器级配置: 硬件 实测配置 说明 CPU i5-12400 普通桌面级,没有 AVX-512 内存 64 GB 硬门槛,官方最低要求就是 64G 显卡 RTX 5060 Ti ...
2026-09-29
AI 在"思考"的时候到底在做什么:一份大模型底层逻辑的拆解笔记
最近 AI 圈有一个奇怪的现象:模型越来越像”会思考的人”,但它们的底层,其实从来没变过。 这一篇我想把”大模型到底是什么”这件事讲清楚。不是讲 API、不是讲 Prompt 技巧,是从最底层——它到底是怎么”吐出下一个字”的——拆给你看。 看完你会发现,我们平时说的”AI 思考”、”AI 推理”,其实都不是它真的在思考。 一、先把一件事说死:AI 不认识字很多人对 AI 的第一误解,就是把 ChatGPT、Claude、文心一言想象成一个”读过全人类书籍的超级大脑”。这个画面很酷,但从原理上就不对。 大模型的输入和输出,从头到尾只有一种东西:数字序列,在专业术语里叫 Token(词元)。 所以当你问 AI “你今天吃饭了吗”这句话,它看到的不是中文汉字,而是一串数字。比如它眼里这句话可能是: 12345你 → 123今天 → 456吃饭 → 789了 → 012吗 → 345 这个”汉字 ↔ 数字”的翻译过程,叫做分词(Tokenization),由一个叫”分词器”的小组件完成。 这里有一个细节容易踩坑:同一个汉字,在不同的模型里对应的数字可能完全不同。同一句话,丢给 GPT...
2026-09-30
Codex (ChatGPT) Six-Month Update Roundup: 4 Hard Tips to Save Tokens + 8 New Tricks
It’s been six months since our last beginner’s guide to Codex. In those six months, Codex has evolved from a standalone desktop app into a feature integrated inside the ChatGPT client, and filled out a whole set of new capabilities: Sites, the office productivity suite, App Shots, Hooks, and more. This post breaks down every key update and focuses on the most practical “token-saving toolkit” for anyone currently using — or about to use — Codex. Bottom line up front: if you only use Chat mode ...
2026-09-30
Codex(ChatGPT)半年更新全盘点:4 个省 Token 硬技巧 + 8 个新奇玩法
距离 Codex 上一次基础教程已经过去半年。这半年里它从独立的桌面应用,合并进了 ChatGPT 客户端,补齐了站点、办公套件、应用快照、Hooks 等一整套新功能。本文把每一个关键更新都拆开来看,并重点梳理最实用的”省 Token 四件套”,供正在用或者准备用 Codex 的朋友参考。 先说结论:如果你只用 Chat 模式跟 Codex 聊天,这个版本最大的意义是”白嫖 ChatGPT 桌面端”;如果你用 Codex 模式跑工程任务,新增的 Hooks、远程控制、多文件夹项目会让它真正变成一个能上生产环境的 Agent。下面分块讲。 一、桌面端合并:三套模式怎么选新版 ChatGPT 桌面客户端已经合并了 Codex,左上角可以切换 Chat / Worker / Codex 三个模式。三者的定位差异可以总结成一张表: 模式 定位 默认能不能动本机 是否消耗订阅额度 Chat 对话问答 Agent(解释代码、翻译、查资料) 不能 不消耗 Worker 通用办公 Agent(调研、文档、表格、PPT、报告) 能 消耗 Codex 编程与工...
2026-09-29
AI Daily · 2026-09-29
The AI world is delivering yet another dense news cycle: new products, fresh funding rounds, emerging regulations, and fresh controversies all breaking at once. I’ve sifted through the most-discussed AI stories on Hacker News, TechCrunch, The Verge, and QbitAI, and picked the 10 most representative ones, ranked by “industry impact × discussion volume.” Each item comes with background context so you can quickly grasp the key points. 1. Pentagon Admits: Overreliance on AI Contributed to Missile...
公告
欢迎来到棋飞 🎉
热门文章
- Naruto Manga Download - NARUTO All 720 Chapters HD Cloud Drive Resources 286
- MOSS-Image 全能生图:LoRA + 提示词模板工作流实测 144
- 火影忍者漫画下载 - NARUTO 全 720 话高清网盘资源 47
- MOSS-Image as an All-Round Generator: LoRA Combo + Prompt Template Workflow 36
- MiniMax H3 终极工作流:DMAD 加速 LoRA + 单节点二采,12 步跑通文戏武戏 27
基于 GA4 最近 30 天数据 · 浏览量