我的龙虾终于不用再「讨饭」了。

一张4090显卡，一个Q4量化工具，成本竟然为0，当然这是不算每月大约40块电费算下来成本为0，而它取代了我每月3000块花费的API账单。

龙虾日消费 100+，直到断粮

在这之前，我于那种服务器之上进行了 OpenClaw 的布署，所采用的是 GLM 的 API 。运行了差不多约摸一个月的时间，账单竟然达到了 3000 多块呢（还好是稍微收敛着点运行的呀），并且，到最后一周竟然就花费掉了 1000 多块。

大量用过龙虾的都知道，这货特别能吃。

每一次用户交互的情况还算可以，尤其是当我存在数目众多的定时任务的时候，在消耗代币的方面简直就如同是一个没有底的洞穴、吞噬金钱的野兽一般。

每一天平均是一百到一百五十元，有时候会突然飙升到二百以上，就仿佛家里存在一个没有关闭的水龙头。

可是有那么一回，余额成零了。龙虾没粮达48小时，于电报上疯狂报错多达294次。

OpenClaw 余额不足报错截图

于是我做了一个决定：把模型搬回家。

手持一张于23年购入的RTX 4090（后续一直闲置在家故而吃灰），用以运行Qwen 3.5的27B 的 Q4量化版本，将其部署成支持OpenAI兼容的一种API，借助隧道穿透的方式使其到达公网。

从此，龙虾随便跑，不要钱。

01家用分水岭

这张、4090、是、GPT、刚冒头那阵儿、购置的，那时、想着、于家中、部署若干部、模型、供己使用，往后、便没怎么、鼓捣了。内存达、64GB、的、台式机、在家闲置蒙尘，近期、内存价格、上扬，我、甚至、思量着、要不、索性、将其、售卖，换些别样、硬件、把玩一番。

但就在近日，千问3．5问世之后，我察觉到了一种改变：用于家庭的消费级显卡，在运行开源模型时所呈现的效果，已然达到了能够使用的标准界限了。

这对我而言，可以算得是一个分水岭了。

不是「可以玩玩」的可用，是「可以拿来干活」的可用。

首先，来查看一下，Qwen3.5 - 27B与GPT - 5 mini的正向对比情况，其中数据源自HuggingFace官方model card的同一张表格：

四项全超 GPT-5 mini。

SWE - bench，72.4与72.0相比，MMLU - Pro，86.1与83.7相比，GPQA，85.5与82.8相比。

仍然存在着另外一个能够供以参考的对比情况，Qwen3.5 - 27B全方位地碾压GPT - 4o，它是在2024年发布的，之后被GPT - 5取代，现在已经下线了，并且两者之间的差距并不是一点儿，就像MMLU - Pro的数据，一个是86.1，另一个是72.6，相差了13个点。

一个运行于家用级显卡之上的，27B的开源模型，于这些核心基准范畴内，全方位领先OpenAI的商业模型。

当然啦，跟各家的旗舰模型相比较而言存在差距，比如 Claude Opus 4.6 的 SWE-bench 79.2 、Kimi K2.5 的 76.8。但是可别忘了，Opus 4.6 每百万 token 要花费 $15 输入加上 $75 输出，Kimi K2.5 属于万亿参数的 MoE 模型，而 Qwen3.5 - 27B 在你家里运行，成本仅仅是电费。

IFEval 95.0 处于全家族的最高水平，显示出它在结构化输出以及 Agent 场景之中的格式具备合规性，并且这种合规性比拥有 122B 的 MoE 版本还要更稳定，对于运行 Agent 而言，此项指标实际上比 SWE-bench 更具实用性。

02为什么是 27B

Qwen3.5系列存在好些个size，其中有9B，还有27B，另外有35B - A3B（MoE） ，再就是122B - A10B（MoE）。

我选的是 27B Dense。

9B 的尺寸是过小的状况。在原先的时候，公众号曾有过相关的撰写内容，@sudoingX 运用 9B 在 RTX 3060 这一设备上编写了一款游戏，然而最终呈现出的结果是，代码行数达到 2699 行，当开启浏览器时，出现黑屏的现象。9B 具备处理单文件任务的能力，可是一旦跨文件依赖的情况增多，它便无法承受了。

当中，35B - A3B 这一情况，尽管其参数总量是更大的，然而呢，每一次进行推理的时候，仅仅只会激活 3B 的参数。推理速度方面，确实是比较快的，能够达到 100 + tok/s ，不过呀，其质量上限相较于 27B Dense 而言，是要低很多的。

27B密集型模式下，每一个token都得历经整个全部270亿参数的运算，这种运算密度所引发的质量差别，在复杂编程以及推理任务当中是能够察觉到的，所以，它甚至跟可Qwen 3.5 397B - A17B正面较量一番，差距微乎其微。

27B Dense vs 35B-A3B MoE 对比

有其他网友进行实验对比，27B Dense的SWE-bench分数，比35B - A3B MoE高，差不多高了10个点。

03量化掉点无感

27B 全精度要 54GB，一张 4090 塞不下。

量化Q4_K_M之后，模型大小缩减至17GB，如此便能轻松放入24GB显存之中。

掉了多少分呢？

Q4_K_M量化，在社区当中，被公认为是质量与体积所在的最佳平衡点。实际去体验一番之后，在日常对话、代码生成以及文档处理这些方面，几乎感受不到和全精度之间存在的差别。

且，Unsloth团队于3月5日，运用改进过的imatrix数据，再度实行了一轮量化，于聊天方面，于编程方面，于长上下文方面，以及于工具调用方面，均有着额外提升。

量化精度保留示意

54GB 压到 17GB，质量基本不打折扣，跑在你家桌上。

04两天部署

整个部署过程……说来话长，但其实无比简单。

我所采用的是Claude Code，以此来对整个部署流程实施远程操控，赋予它这样一个目标，即通过SSH连接到4090机器上，把推理框架安装好，将模型予以下载，启动服务，将公网打通。

然后设定好判断标准：公网能 curl 通就算成功。

接下来……就让它干就好了。

以往手动进行过模型布署的诸人都清楚这极其苦涩难受：存在各类环境冲突状况，有着诸多依赖不兼容情形 ，CUDA版本相互不匹配，下载过程半途中断断续续。每一个相关步骤都必须目不转睛紧盯着终端等候，一等最少就是很长的半小时。

现在有了 Claude Code，我就无所谓了。

整个过程耗费了整整两天多的时长，然而，我真正于其中所花的时间，大约也就仅有五分钟。

有时候瞅一瞅究竟干得情形如何，针对它给出的问题予以回应（是不是需要重启机器呀？是不是要关掉桌面环境呢），其余的时间段就按照原本该做何事做何事。

中间有一次，Claude Code 甚至反复催我去睡觉：

你先行去睡觉吧，我将会连续地坚持跑起来，待明日你苏醒之后，我们接着去完成最后的几小步，祝你夜晚安宁！

Claude Code：你快去睡吧！

结果我第二天醒来一看，模型下了 6/11 个文件。

在这个过程当中，它经历了诸多波折：一开始尝试 vLLM，竟因依赖解析而陷入停滞状态……随后更换为 uv，然而在下载进程到一半的时候，代理却断掉了……接着使用清华镜像，可某个 NVIDIA 安装包却又出现了超时状况……好不容易完成了安装，可一旦运行就出现了 OOM。原来是因为 GPTQ - Int4 版本竟然有 29GB（Mamba 混合层未被量化），以至于 4090 根本无法容纳。

随后更换为ollama运行GGUF，然而在安装CUDA库的进程中半途被截断了。紧接着又对NVIDIA驱动进行升级，从535提升至570，为之重启了两次。模型于WiFi环境下下载了长达十几个小时。

但这些，都是 Claude Code 在折腾，跟我没关系。

Claude Code 部署过程

终于，到了第二天的夜晚，Claude Code自行将一句「你好」发送了过去，对面回复了一句「你好！很高兴见到你。有什么我能够帮你的吗？」。

05性能实测

运行于RTX 4090之上的模型，采取Q4_K_M量化方式，版本为ollama 0.18.2，使用CUDA 12.8。

Claude Code 按我的要求跑了一轮压测：

所要予以说明的是，GPU总的吞吐呈现恒定状态，其处于~30 tok/s，这属于单卡的物理上限范围。

并发请求，其本质而言，是对 GPU 的计算资源进行共享。在 1 - 4 路并发的状况下，总吞吐保持不变，然而，每个请求的等待时间，会随着并发数呈现线性增长。

再往上加到 8 路、16 路，延迟就会变得不太可接受了。

所以，这套方案相对适宜 1 至 2 个人一同运用，要不然就是 Agent 后台按顺序执行任务。要是期望达成高并发为众多人提供服务的情景，那就难免得去斟酌云端 API 或者多卡方案了。

性能对比：本地 vs 云端

而 30 tok/s 是什么概念呢？

回复日常对话时，大约需要200到500个tokens，这意味着，要在7到17秒的时间内，给出完整的回复。而编写一段代码的话，大概需要1000个tokens，所需时间约为半分钟左右。

对于我的龙虾后台跑 cron job 的场景，绰绰有余了。

06省了多少钱

提到之前，我的龙虾借助GLM的API运行了差不多一个月，账单有3000多元，最后一周花费了1000多元。

龙虾断粮数据统计

现在呢？电费。

超强大的RTX 4090，其满载状态下的功耗为450W，然而在进行推理操作时，实际所消耗的功耗大概处于200W至250W这个范围。要是按照每天运行8小时来计算的话，那么一天所用电大约是2度，进而一个月就是60度，如此算下来电费还不到40块。

费用对比：API vs 本地

从每月 3000 到每月 40 块，省了 98.7%。

即便如此，这仍属于一次性投入范畴。4090已然购置到手，放置于家中的话，也不过是闲置蒙尘。如今使其从事一些正经事务，这便与之看来恰似是化无用之物为宝贝了。

07绝对隐私

省钱之外，还有一个也许更重要的好处：数据不出家门。

每一句对话，每一段代码，每一篇文档，都要在你自身的机器上去处理。未曾经过任何一个第三方服务器，没有任何一个人能够看到你的数据。

于使用云端 API 之际，你的一条条消息皆会被发送至模型提供商的服务器之上。尽管绝大多数公司都作出承诺不会运用用户数据去训练模型，然而，你的数据终归是脱离了你的掌控范围。

本地部署就完全没有这个顾虑。

处理公司代码的场景，处理客户数据的场景，处理敏感文档的场景，对于这些而言，这个价值或许要比省钱更为重大。

08公网穿透

模型跑在家里的电脑上，但总不能只在家才用吧？

是以我制订了一套隧道穿透的方案，致使这个API 于那公网上能够随时得以使用。

公网隧道穿透架构

具体操作分三步：

第一步，SSH 反向隧道。

在 4090 之上，运用 autossh 去构建一条具备持久性的反向隧道，将本地的 ollama 端口，也就是 11434 端口，映射至一台拥有公网 IP 的服务器的 8100 端口。autossh 能够自动进行重连，与 systemd 协同实现开机自启，基本上无需过多理会。

第二步，nginx 反向代理 + API 鉴权。

把 8100 端口，在公网服务器上，用 nginx（OpenResty）包一层 HTTPS，并且绑上域名 llm.yourdomain.com。同时，在 nginx 层做 Bearer Token 验证，若没有正确的 API Key，就返回 401。

如此一来，ollama自身用不着去更改任何配置，而且鉴权完全在nginx那边完成。

第三步，Cloudflare DNS。

给llm.yourdomain.com的A记录，指向公网服务器IP，从而完成，结束。

最终效果：

curlhttps://llm.yourdomain.com/v1/chat/completions\
-H"Authorization: Bearer YOUR_API_KEY"\
-H"Content-Type: application/json"\
-d'{"model":"qwen3.5:27b","messages":[{"role":"user","content":"你好"}]}'
└

于公司之时，于咖啡厅之中，于出差行进的路途之上，均可使用，于地处他方之物事龙虾而言，同样能够使用。

要是处于家里的局域网范围之内，像是 Mac这类，或者手机这种情况，那得以直接对http://192.168.1.10:11434展开访问，就连API Key这一切都根本不需要，而且延迟还会更低。

家里的电脑开着就行。

09你也可以

要是你手里持有一张具备24GB显存的显卡，想要去复刻这一套方案，实际上并非有着很大困难。

硬件参考：

即便没独立显卡不过拥有一台具备大内存的Mac，那也是能够运行的。M4 Max的128GB统一内存，甚至是能够运行72B模型的。

要是你同样使用Claude Code，或者使用Codex，那么给它一段指令就可以了：

就在标记为192.168.1.10的那台Ubuntu的机器之上，借助ollama来部署Qwen3.5 - 27B的推理服务，于端口11434进行操作，并且设置为开机自启。在这一系列操作都完成之后，利用curl去测试一下，看看是不是能够正常地进行回复。

剩下的事情，就是偶尔看一眼它干得怎么样。

公网穿透那块儿要稍微复杂那么一点儿，得有一台具备公网 IP 的服务器才行（最便宜的云服务器就能够满足需求），还得加上 autossh 以及 nginx 的配置。不过核心的思路就是上面所讲的那三步。

要是你不打算去折腾那隧道，其实也是可以的。只要是在家里使用，通过局域网直接连接就能够搞定了。

10龙虾满血

在隧道被打通这件事之后，我这边将OpenClaw的模型配置切换到了自行托管的Qwen 3.5 27B。

改了一行配置，重启，Telegram 上立刻收到了回复。

龙虾满血复活了，而且这次，它再也不会因为欠费而饿死。

随性随意地跑，根本用不着操心去查看账单。那凌晨三点时分的名为 cron job 的任务么？随意就好。让 Agent 去跑上 50 轮工具调用？同样随意便可。

再说呢，鉴于数据全然在于住户自家的设备之上运行，所以在隐私层面呐是根本无需忧心的啦。无论想要同龙虾谈论些什么，都不必担忧会有任何信息被谁人窥见。

这便是家用布置最为畅快的所在之处，不存在速率限制，不存在月度限定额度，不存在隐私方面的担忧顾虑，想使用多少便使用多少。

11最后

这张 4090 在家里吃了三年灰。

如今它每日的工作是，运行一个拥有270亿参数的模型，回应我的Agent请求，时不时帮我编写程序代码。

电费每月 40 块。

而它替代掉的 API 账单，是每月 3000+。

一张吃灰三年的显卡，终于找到了自己的用途。

我那快饿死的龙虾，也终于找到了自己的绝配。