历经十余载云服务时期，我们已适应按实际使用量计费的方式。伴随人工智能技术的进步，类似情形再度出现。尽管当前人工智能服务价格尚属合理，但这状况或许难以长久维持。

基础AI服务供应商以Token作为计费单位，不过现阶段它们普遍在亏损中。盈利前景终将到来，可能直接来自客户支付，也可能通过分析客户信息获利。因此，许多人开始探索绕过大公司限制，自行获取AI优势的途径。

**本地化趋势兴起**

本地大语言模型的推广进程中，反映出一种文化层面的转变，部分原因在于公众对大型科技企业的疑虑，多数美国人忧虑AI企业会违规使用个人信息，联邦贸易委员会强调AI企业需恪守对客户数据保护的承诺，并为此发布警示。

OpenAI说明，若用户提出请求，该公司会"消除"个人对话信息，但这不代表它会删除这些资料。实际上，它无法这样做。法院已指示该企业保存其聊天记录，这是其当前与《纽约时报》等媒体法律争议的一部分。

有些原本以注重伦理和保密为核心的企业，最终也会让位于商业环境的压力。Anthropic在八月底将资料保存期限由三十天调整为五年，这个决定是在它透露将为人工智能系统赋予记忆能力后不久做出的。公司同时启用了依据用户信息来优化模型的做法。尽管使用者有权禁止这种操作，但相关的设置属于被动拒绝而非主动启用。

隐私方面的讨论还涉及到国家权力归属议题，尤其在美国对人工智能监管有所放宽的情况下。欧洲的企业正在计划研发自身的替代技术。比如德国的工程组织Makandra开发了自己的本地化人工智能系统，目的是保障其运作遵循GDPR法规。

推广本地大型语言模型的企业也将技术普及当作发展动力。人工智能是人类历史上最强大的放大工具之一，Jan项目的增长工程师兼主管Emre Can Kartal这样强调，Jan是Menlo Research研发本地部署模型及其配套管理系统的计划。我们的目标是维护它的公共属性，确保不被少数科技巨头所垄断，而是让更多人能够自由使用。

费用也是一个考量。以亏损状况提供AI服务的公司常常会控制客户的使用量。任何在涉及人工智能的竞赛活动中，基础模型服务费每月超过百元却被终止服务的参与者，都能明白这个情况。

**环境影响考量**

美国的数据中心预计到2030年将耗费全国超过九成的电力，依据研究机构EPRI的资料。相当一部分数据中心采用蒸发降温方法，导致水资源消耗巨大。通常估算显示，每一次交互大约需要耗费半升水。

自身部署大型语言模型的优势并非体现在训练阶段的碳排放，而是体现在推断环节。若你选用的是开源参数的初始模型，那么训练工作已告完成。然而，你越是频繁地在本机进行推断操作，造成的环境负担就越是显著。你的个人电脑散热系统或许会采用封闭式循环的液体，因此不会造成水资源的浪费。

**模型压缩技术**

通常情况下，你越是频繁运用生成式人工智能，本地模型就越发具有吸引力。那么你需要哪些条件才能高效运行它呢？这很大程度上取决于你运行模型的精确度，你可以借助大语言模型中的一个核心概念——量化来调整精确度。

精确度降低源于对神经网络节点生成的权重值进行计算。这种精确度降低，使得在处理这些值时，所需的存储空间和计算资源得以削减。可以通过压缩浮点数的精确度来实现这种计算，或者完全采用整数值来替代它们。

计算精度会因量化处理而有所损失，不过这种损耗并不明显，反而能带来功率或效能上的提升，这为将生成式AI系统部署到数据中心、边缘计算单元或个人终端创造了条件。

**软件技术进步**

单有设备是不够的。现在，在各种设备上运行大型语言模型之所以能够实现，是因为基础软件体系的发展。

Georgi Gerganov认为，ggml栈，比如llama.cpp和whisper.cpp，对于让本地人工智能得以实现起到了决定性作用。现在如果你在进行任何客户端推理，他很可能参与到了其中一部分工作。Ggml是一个底层机器学习模型库，它能让机器学习模型在各种不同类型的硬件上顺利运行。

Ollama是众多可执行命令行界面工具中，用以运行大型语言模型的佼佼者之一，它建立在llama.cpp框架之上，为开发者构建了应用基础。该平台备有超过两百种已配置好的大型语言模型，支持单行指令完成安装，让大型语言模型的创造者能够便捷地部署并使用本地的生成式人工智能系统。

**适合每个人的模型**

好像每个人都能找到匹配的模型，这取决于他们的应用实例和设备配置。诸如Llama和Mistral之类的通用模型，提供了不同规模的参数配置。Google Gemma 2被压缩到20亿参数，以便在设备上部署使用。

另有一些模型是为特定目的而设计的，比如编程领域，有Qwen 2.5 Coder 7B和DeepSeek Coder V2等模型专门用于这个领域。部分模型能够针对性强到极致。比如我们了解到，像Mythomax这样的叙事型大语言模型，特别适用于扮演游戏角色。

**本地大语言模型是否足够好？**

疑问在于，这些方案是否真的优于云端部署的大型架构，抑或它们本就不必如此。

Nomic人工智能企业的发起人Andriy Mulyar起初打算开发地区性人工智能系统，其机构研究并推出了一款开放源代码的GPT4All程序，该方案计划在本地设备上执行，然而在向目标客户推广基于此的解决方案时遭遇了挫折。

个人和爱好者运用起来效果很好。能够从中得到实际好处。可以用来处理邮件事务。能够展示编程技能，他谈论到本地大型语言模型时表示。然而对他而言，这就够了。

云模型之所以超越本地模型，主要有两点原因，第一是体量，规模越大的模型通常具备更强的通用能力，而体量较小的模型则更倾向于精细化，借助参数调整和强化训练能够迅速响应持续变化的需求。

检索增强生成也算是一种得力的手段。对某些专门事项抱有热忱的个体，会为大型语言模型建立专属的信息集合。借助这样构建的资料库，在限定明确的应用场景里，往往能获得相当出色的表现。

维持基础云模型服务商的领先地位，另一个关键因素在于信息防护。诸如OpenAI的企业，通过严格守护其核心模型，来巩固市场的主导权。不过，这种优势十分有限。品质差距正快速减小，正如Gerganov所言，"如今，本地实现的水平，已经达到或超过了一年前的云端水准。并且这种水平还将持续进步。"

对于需要处理机密事务的律所，或者想要建立个人信息网络的个人，在开始本地大型语言模型的应用之前，必须先平衡自己的期望与实际条件。首先要确定具体的应用场景，在这些场景里，个人隐私、经济承受能力和工作效率的要求，都表明本地安装是可行方案。接着要挑选符合自身技术能力的工具，同时确保所选的通用模型与你的设备参数相吻合。

Q&A

Q1：为什么越来越多的人选择本地部署大语言模型？

主要缘由有：许多人忧虑巨型网络企业胡乱使用信息（高达八成美国人持有此看法），出于经济因素（防止云服务使用上的束缚和不断增长的支出），关注生态方面（降低数据中心在能源和水资源方面的消耗），以及技术自主权要求（例如欧洲公司为遵循GDPR规范而挑选在本地安置）。

Q2：运行本地大语言模型需要什么样的硬件配置？

硬件配置的核心要素在于模型的精细程度，若以半精度（即16位）进行运算，每十亿个参数大约需要2GB的图形存储空间，若要容纳更多参数，可以通过扩充图形存储容量（比如选用拥有32GB显存的Nvidia RTX 5090显卡）或者加大参数的压缩力度这两种方式来实现。废弃的专业设备例如Quadro RTX卡，在显存成本效益方面通常比新推出的家用GPU更有优势，M2 MacBook Pro配备的24GB共享内存，也能够流畅地处理超过两千亿参数的深度学习模型。

Q3：本地大语言模型的质量能否媲美云端模型？

如今云端的大型人工智能系统在整体智能层面依然领先，不过彼此间的距离正迅速减小。地面部署的模型借助检索增强生成以及针对特定任务进行优化，也能在专业领域内取得优异表现。尽管地面模型对指令的精确度和环境信息的要求更高，但现阶段它们的性能已经达到或超越了上一年度的云端系统水平，并且还在不断进步。