选型 · 模型
开源模型 vs 闭源 API：成本、隐私、能力怎么选
给龙虾接大脑，先要选用本地开源模型还是闭源 API。用量小、数据不敏感的选闭源 API；数据要留在本机、手上有放得下模型的硬件的选本地开源。
- 发布日期
- 更新日期
本地开源模型和闭源 API 差在哪几项
| 维度 | 本地开源模型 | 闭源 API |
|---|---|---|
| 成本 | 硬件投入在前，没有按次的 API 费；另有电费和维护时间 | 不用自备显卡，按 token 付费 |
| 隐私 | 推理可留在本机 联网工具、云端回退要单独检查 | 数据发到对方服务器 看厂商承诺 |
| 能力 | 取决于模型大小、量化和上下文，要拿自己的任务试过才知道 | 可用到各家最新的大模型，工具调用表现仍因模型和任务而异 |
| 上手 | 要有放得下模型的硬件，还要装推理环境 | 填 key 和模型名 |
| 稳定性 | 不受服务商限流；已下载的模型可离线推理，联网工具仍需要网络 | 可能遇到限流、调价或型号下线，不用自己运维 |
成本：前期投入和按量费用怎么比
闭源 API 按量计费，不用先买硬件；智能体一个任务要多次调用模型，token 消耗比单轮聊天多。本地开源要先有放得下模型的硬件，之后没有按次的 API 费，但有电费和维护时间。用量小、偶尔跑，API 的前期投入更低；用量大时本地是否更省，取决于硬件利用率和任务。粗算可以这样比：买硬件的钱除以你现在每月的 API 账单，得出要用几个月才抵得上，电费另加。
隐私：用本地模型，数据就不出本机吗
本地模型的推理可以留在本机，但联网工具、云端回退和远程插件仍可能把数据发出去，要逐项关掉或核对。闭源 API 哪怕厂商承诺不留存，你的指令和读到的内容仍要发到对方服务器。任务会让模型读到内部资料、私人文件时，优先本地推理，并逐项核对联网工具和回退。
能力：本地模型能不能完成复杂任务
本地能跑的模型受显存、量化和上下文限制，能载入不等于能完成复杂任务；闭源 API 可用到各家最新的大模型，工具调用表现同样因模型和任务而异。拿自己的任务在两边各跑一遍，比较完成情况和你中途接手的次数。手头没有现成任务的，用这个分组求和的小任务。候选型号见 模型选型。
什么情况选哪个
- 选闭源 API：用量不大、想省去本地部署、数据不敏感。
- 选本地开源：数据要留在本机、想离线推理、已有放得下模型的硬件、愿意自己维护环境。
- 两边都用：可以分别配置多个 provider 和模型，再按任务选择；定下来之前，两边各跑一次自己的任务。