DeepSeek 本地化部署是热门应用方式。它能避免服务器繁忙。本地化运行还可极大程度保护用户隐私。

目前 DeepSeek 存在众多版本，这些版本的模型容量之间的差距能够达到数十倍。到底怎样去选择适合自身硬件的版本并进行部署，一直是让用户感到比较头疼的一个问题。

今天我们使用 RTX 5090 D、RTX 5080、RTX 5070 Ti 以及 RTX 5070 这四张 RTX 50 系显卡来进行实测。我们要实测的是不同显卡之间的性能差距。

首先来介绍测试平台，本次测试使用的显卡有 4 张，除此之外，处理器选用的是 AMD R7 9800X3D，内存的规格是 48GB DDR5 6000MHz。

本地部署的步骤在此不再详细讲解。有兴趣的用户能够翻看我们之前的文章。

使用 LM Studio 进行测试，在没有加速框架的情况下进行对比，完全依靠显卡自身的算力。因为不同的加速框架对不同厂商的显卡所进行的优化是不一样的，所以测试的变量会很大。

我们首先选择的是【DeepSeek R1 Distill Qwen 32B】模型。

把 GPU 卸载到最大程度，这就表示 DeepSeek 模型会全部由 GPU 来进行计算，其他参数保持默认状态就行。因为 AI 模型每次回答都可能不一样，所以在这里设置 3 个问题，然后求取平均值。

另外需要注意的是，我们设置的问题限定了范围，这样能让 AI 在思考回答时不会过于发散。如果问像“什么是哲学”这类没有范围的问题，每次回答的结果就难以量化。

在 32B 模型里，能看到 RTX 5090 D 的 tok/sec 速度较快。因为它是本代的旗舰产品，32GB 大显存原本就适合进行 AI 训练。

在对 RTX 5080 进行测试时出现了问题。可以看到，RTX 5080 在回答问题时，其思考时间达到了 348 秒，这相当于将近 6 分钟。

这里需要提及，不同模型对于显存需求的换算大致存在一个公式，这个公式是：

（32）B÷2×1.15=显存

32B 模型所需的最低显存约为 18.4GB。此显存量已超出 RTX 5080 的 16GB 显存。其中溢出的 2GB 显存由内存来补足。

对于模型而言，一旦出现爆显存的情况，无论“外借”多少内存，都将会以最慢的速度进行运算。

实测同事的 RTX 2060，在运行 32B 模型时。虽然“外借”的内存更多，但是思考时间依然大约为 5 分钟。

爆显存对于本次测试而言意义不大，故而我们更换为更小的 8B 模型，以便后续型号能够完全凭借显存来完成测试。

根据上述公式，这里能够推测出 8B 模型大概只需 4.6GB 显存，就可以满足运算需求。

在更换模型后，所有显卡均可进行正常测试，成绩汇总如上。

从结果方面来看，tok/sec与显卡显存以及算力存在着较大的关联，同时展现出了符合预期的性能递进关系。然而，first token 和思考时间并没有明显的规律可供遵循。对于下面每张显卡的 tok/sec 成绩，我们进行了柱状图的汇总，这样能让大家看得更加清晰。

大显存且高算力的 RTX 5090 D 毫无意外地取得了领先地位。显存相同的 RTX 5080 与 RTX 5070 Ti 之间的差距不是很大。从不同显卡之间的 AI 算力方面来看：

RTX 5090 D（AI TOPS：2375）；

RTX 5080（AI TOPS：1801）；

RTX 5070 Ti（AI TOPS：1406）；

RTX 5070（AI TOPS：988）

DeepSeek 大语言模型对于 AI 算力的要求并非最重要的，重要的是显存。只要显存足够大，在进行推理运算时就会具有压倒性的优势。

总结一下本次 DeepSeek 测试的要点，以便大家能快速记忆。

1. DeepSeek大语言模型对GPU的需求：显存＞算力

2. 模型对显存要求的换算公式（x）B÷2×1.15=显存

3. 当显存无法满足模型最低需求，多少AI算力都无济于事

4. 思考时间与GPU并无绝对关系，而是问题的开放性

本次测试选用的是 LM Studio，其目的在于运用显卡未经过加速的真实算力。然而现今存在许多针对不同架构的加速框架，并且即便笔记本电脑也能够运行满血的大模型，大家在自身使用的过程中不妨自行去进行尝试。

(9647699)