本地部署AI大模型最低配置要求(2026 显卡/内存配置对照)

本地跑大模型，看显存还是看内存

跑大模型最关键的不是电脑内存（RAM），而是显存（显卡上的内存，VRAM）。模型要尽量整个塞进显存里跑才快；塞不下、溢到普通内存里，速度会明显变慢。所以判断能不能跑，第一眼看显存。

另一个要认的词是“模型规模”，就是型号后面 7B、12B、27B、70B 这类数字，B = 十亿参数。同一代模型里，数字越大通常能力越强，也越吃显存。下面的表就是按这个数字分档的。

配置对照表：哪档模型要多少显存内存

下面按模型规模分档。显存一栏是估算，算法是：4-bit 量化（一种省显存的压缩跑法）下，每个参数占半个字节多一点，权重文件的 GB 数大约是参数量 B 数的 0.6～0.7 倍；在这之上再给上下文和运行开销留几个 GB，就是表里的“建议显存”。内存一栏是按不低于显存、再给系统留余量给的。

Apple 芯片（M 系列）的 Mac 是个例外：它的内存是“统一内存”，CPU 和 GPU 共用，没有单独的显存数字。系统和其他软件也要占一部分，对照上表时不能把整条内存都当显存算。

16G、24G 显存对应 Ollama 库里哪些型号

对照表里的规模落到具体型号上，可以直接查 Ollama 模型库：每个型号页面都标了文件大小、上下文上限和能力标签。下面是 2026 年 10 月各型号 tags 页面上标的数字（qwen3.8:latest 是 27B，muse-glimmer:latest 是 30B）：

Ollama 的 gemma4 页面写明，gemma4:e4b-it-qat 名字里的 E4B 指“有效 4B 参数”，是给端侧设备的小型号，不能按名字里的 4B 去套前面的估算比例。

文件大小不等于所需显存。文件大小只是权重占的地方，跑起来还要给上下文留空间；Ollama 的上下文长度文档写明，上下文设得越大，运行模型需要的内存越多。拿文件大小去对显卡，只能做减法：

• 8 GB 显存：gemma4:12b-it-qat 的文件有 7.2 GB，剩下不到 1 GB，留不出上下文的地方；gemma4:e4b-it-qat 的文件是 6.1 GB，剩下不到 2 GB。8 GB 的卡想本地跑，先试小的这个，够不够用按下面的办法看。只聊天可以这样试；给龙虾当大脑见下一节。
• 12 GB、16 GB 显存：gemma4:12b-it-qat 装得下，12 GB 的卡剩约 5 GB、16 GB 的卡剩约 9 GB 给上下文；表里 16 GB 及以上的型号，光权重就占满或超出显存。
• 24 GB 显存：16 GB 的两个型号装下权重后剩 8 GB；18～19 GB 的几个型号装得下权重，剩 5～6 GB 给上下文。

剩下的余量够不够把上下文开到你要的长度，装好以后用 ollama ps 看 PROCESSOR 一栏：显示 100% GPU 说明模型整个在显存里，出现 CPU 占比就是溢到内存去了。

拿本地模型给龙虾AI 当大脑，还要看上下文和工具调用

只聊天的话，模型装得进显存就行。接到龙虾AI（OpenClaw）后面当大脑，还要多看两样：上下文和工具调用。

• 上下文：建议值是 64k，开多大看机器。Ollama 官方 OpenClaw 集成页写的是 OpenClaw 需要更大的上下文窗口，用本地模型时建议至少 64k token。实际分到多少不只看 Ollama，OpenClaw 的请求里也可能带着上下文长度；两边各自的默认值，以及往上调时 contextTokens 和 params.num_ctx 怎么一起改，见《显存/内存不够跑本地模型？6 个办法》的第 4 招。
• 先看有没有 tools 标签。龙虾AI 干活靠调用工具，选型号时可以先看模型库页面有没有 tools 标签（表示支持工具调用）。上面表里几个型号的库页面都带这个标签。带了标签、能聊天却不调工具时怎么查，见《OpenClaw 接 Ollama：能聊天却不调用工具怎么排查》。

上下文开得越大，显存占用比只看文件大小时多得越多。集成页给两个本地型号标的是显存数字：gemma4 约 16 GB，qwen3.5 约 11 GB，没交代是哪个尺寸、开多大上下文时的数字。别拿它去套上面表里的 qwen3.5:27b-int4：这个标签光文件就有 16 GB，放不进约 11 GB 的显存，11～16 GB 的卡不要拉它。显存低于 11 GB 的机器，大脑接云端 API 更合适；按显存大小怎么判断，看 跑 OpenClaw 要什么配置 里的那张表。

本地部署 AI 需要花钱吗：模型免费，硬件和电要钱

模型权重本身不收钱。开源模型可以免费下载、在自己机器上跑，能不能商用要看各模型的许可证（比如 Qwen3.8 官方仓库标的是 Apache-2.0）。真正花钱的是两块：

• 硬件：你得有一张显存够用的显卡（看上面的表），这是本地部署的主要开销。
• 电费：显卡满载跑起来挺费电，长期开着也是笔账。

所以本地部署是前期投硬件，之后不再按次付 API 费，推理也留在本机；是否更省要看用量，联网工具和云端回退仍会把数据发出去。已经有合适的显卡、用量又大，适合本地跑；手头没卡、只是轻度用，不必为这个去买卡，接云端 API 就行。

配置不够怎么办：接云端 API，照样能用智能体

如果对照完表发现自己配置不够，本地跑模型只是其中一条路。另一条是接云端 API：算力在服务商那边，你这台机器只跑龙虾AI（OpenClaw）本体，OpenClaw 官方安装页的系统要求列了 Node 版本、操作系统，以及只在源码构建时需要的 pnpm，没有对内存、显卡提要求。代价是模型按用量付费。

这两条路怎么选、各自的成本和隐私差别，看 给龙虾接大脑：云端 API 还是本地模型。想按自己这台机器的显卡、内存、硬盘逐项对一遍，看 跑 OpenClaw 要什么配置？显卡/内存/本地模型对照。

常见问题

本地部署 AI 大模型最低配置是多少？

看你跑多大的模型，下面的门槛是按 4-bit 量化估算的。7B～8B 小模型，8G 显存起步；12B～14B 中等模型，建议 12～16G 显存加 32G 内存；27B～32B 的，要 24G 显存起步。不上显卡、只用 CPU 和内存也能跑，但会慢很多，只适合试一试。给龙虾AI(OpenClaw)当大脑还要给上下文留显存，Ollama 对这类任务的建议值是 64k。

电脑配置不够还能用 AI 智能体吗？

能。配置不够就不在本地跑模型，改接云端 API——算力在服务商那边，本机只跑龙虾AI(OpenClaw)本体，官方安装页的系统要求讲的是 Node 版本和操作系统（从源码构建才另需 pnpm），没有对内存、显卡提要求；代价是模型按用量付费。