上周前往了深圳，在那里逛了一回华强北。老实讲，略微被各种各样的AI硬件给震撼到了。

多种AI硬件，存在许多之前根本未曾设想过的形态，AI眼镜、AI录音笔、AI翻译机这类属于常规的。

并且存在AI宠物，以及AI玩具，还有AI香薰机，甚至有一种被称作AI鱼缸的物品，它能够自行识别鱼的状况，进而对水质予以调节。

不少产品说不定还蛮粗陋，然而我能够察觉到一种导向，具备了AI能力以后，差不多所有的硬件种类或许都拥有了全新的想象余地。

然而，这些 AI 硬件能有称得上足够好用的状况，其前提条件是，它们具备一个质量不错的端侧模型。

为什么必须是端侧？两个原因。

首先是响应速度方面，云端模型需要经过上传数据这一过程，之后进行处理，然后再返回结果，在这中间只要有任何一个环节出现卡顿情况，那么体验将会崩塌。比如当我们经过隧道时没有信号，又或者网络出现抖动现象，此时 AI 眼镜就会变成普通眼镜……

其次是隐私问题，要是未来那些AI硬件果真处于全天候陪伴的情形，时刻在观看，时刻在倾听，记载着生活中的所有点滴，而这些数据倘若全需传输至云端进行处理，那就等同于将自身毫无保留地暴露给一家大公司的服务器，谁能忍受得了呢？

所以，终端设备要是想真正变得智能起来，那就一定得有一个在本地运行的模型。这个模型，要么完全是端侧的模型，换个说法，要么就是端和云相互协作配合的那种状态。

依照这样的情况，我进而想到，小型的模型将会变成在紧接着的几年时间里人工智能产业的带来重大变革的事物。

当下，大伙的关注点仍集中于超级大模型上面，然而，随着时间不断往后推移 ，会有越来越多的人察觉到；于众多实际场景之中，模型并不一定非得那样庞大。而且，存在一些数据，是绝对不能够传至云端的。

#01

小模型的可能性

周三的时候，面壁智能发布了一个小模型，十分让人惊艳，它叫做MiniCPM - o 4.5，其参数量为9B，并且还是开源的。

此为一个链接，链接指向的是，位于huggingface这个平台的，名为openbmb的相关内容，具体为MiniCPM - o - 4_5。

目前的语境里来讲，9B确切地说是个渺小的模型，与那些拥有动辄就高达万亿参数的大模型放在一块儿比较的话，大约连它们的百分之一都未能达到的呀。

在全模态交互方面，这个小模型达到了同尺寸范畴内的领先水准，它对视频、音频、图像以及文本的输入理解具备原生支持能力，同时，它还能够针对语音跟文本进行输出。

语音合成具备端到端的特性，其音色以及拟人感相较于以往的那些模型而言要好出许多，并且是支持声音克隆的。

要是大家从事的是做AI硬件方面的事，那是可以予以关注的。毕竟在我看来，在AI硬件的多数场景当中，视觉以及语音能力都是有需要的。

这次模型最为关键的突破之处在于全双工，它是在行业当中首个原生支持全双工的全模态模型。

什么意思？看下面这个 Case 就明白了。

当模型处于讲话状态之际，画面呈现出持续不断的变化情形。要是换成先前的模型，一旦开启输出进程，便无法再接纳新的信息，仅仅能够将之前预先想好的话语表述完毕。

然而，MiniCPM - o 4.5 并非如此，它在进行言语表达之际，还处于观看状态之中，一旦画面出现变化，它能够即刻察觉到，并且会在同一时间内做出自我输出的实时调整。

比如接下来要说的这个Case，我清楚豆包先前就可以达成相似的功能。然而豆包身为云端模型，其想象的空间就存在一定的局限。

好好去思考一下，当我们把那个面壁的小型模型，布置到一盏台灯当中的时候，是不是会存在着更大的可能性呢。

又譬如存在这样一个场景，我认为再稍作等待，当监控能够部署如此这般的小模型之际，那就会极其酷炫。

进行了查询，将 OpenAI 包含在内，看上去是支持实时语音的，然而它们之中任何一个都未曾达成真正意义上的全双工。

我并不能百分百确定豆包它是不是全双工，即便它是全双工，我觉得那个场景也没有小模型来得那么有吸引力。

全双工这个词有点技术，我稍微解释下。

设想一下进行微信语音交流。你录制一段内容，将其发送出去，等待对方聆听完毕，然后对方再回复你一段。在录制的时候你不会知晓对方会有怎样的反应，对方聆听的时候你同样也不清楚。一来一往，且必须交替进行。

时下在市面上占据多数的AI语音交互，从本质上来说均是这般模式，是我讲出一句话，而后AI回应一句话。

当 AI 进行回答之际，实际是处于闭着眼睛的状态，同时还捂着耳朵，于那般情形下，它并不晓得你有着想要打断它的意图，亦不清楚旁边究竟发生了何种状况，仅仅是将之前预先想好的话语照着念完而已。

MiniCPM - o 4.5 并非相同，它能够一边观看，一边聆听，一边诉说，这三件事情能够同时开展，彼此之间不会产生阻塞。

更仿若打电话，你讲话之时，对方一样能同期发声而出，你可以听闻对方的反应状况，随后随时去修整自身所讲的内容。若想要进行插话行为，不必等待对方把话讲完。

为什么之前没人能做到？因为技术上很难。

现今，在市面上，存在着一些模型，它们宣称自己支持双工，然而，大部分都是借助外挂一个名为VAD的小工具才得以实现的。

VAD 用于进行语音检测，当听到了有人在说话时，便告知模型停止说话，当听到没有人在说话时，就让模型开始进行回答。

这套方案存在诸多问题，具体表现为：难以分辨究竟是谁在进行表述，无法清晰区分人声以及环境音，并且还需要等待一段固定的静默时长，才能够判定对方是否已经结束了话语，延迟程度颇高。从本质上来说，这属于工程层面的一种妥协。

MiniCPM-o 4.5 的做法完全不同。

那东西给全部的信息流添加上精准的时间戳，视频流，音频流，模型输出的文字与语音，每一帧，每一个词都标记着相应的时间点，精度处于毫秒级。

模型因此致使有了时间感，清楚知晓自身所说出的每一个字，所对应的是外界的哪一个时刻。

然后，它将连续的视频切成诸多小块，把连续的音频也切成许多小块，对这些小块进行循环编码，以此让仅能处理串行信息流的计算架构，能够去处理并行的信息流。

不会是因为模型身处输出状态，输入就出现中断的情况，也不会是由于存在新的输入，输出就遭遇卡住现象。

最为关键的要点在于，要凭借自身进行判断说话的时机，模型会每秒展开一次判断：当下究竟应不应该开口，这完全是基于语义理解来进行的，并不会去依赖外部工具。

它具备这样的能力，即能够区分出对方到底是讲完了全部内容，还是仅仅出现了短暂的停顿，并且，它还能够判别出旁边正在进行的交谈，究竟是不是针对它而言的。

这些加在一起，就实现了真正的全双工。

要从交互范式这个角度去看，这应当是一回代际升级，在这之前的全部语音交互，不论体验被做得多么流畅，其底层都是回合制的。

全双工把人和 AI 的交互变成了实时的、连续的、双向的。

这不是快一点或者体验好一点的问题，是交互方式本身变了。

值得玩味的是，先前那些处于领先地位的人工智能公司实际上并未在这个具体的方向上投入力量。技术存在难度是其中一个方面，然而我认为更关键的缘故是：在它们所涉及的场景当中，全双工的需求并非那般急切。

你去思考思考 OpenAI 的主要作战场地，依旧是 Chat 类型的交互，通过打字进行询问，再通过打字给予回答，这种回合制已然足够使用了。

但做端侧小模型的公司不一样。

智能硬件靠哪些来交互，是语音以及视觉。你没办法对着 AI 眼镜或者车载助手一直打字的。这些场景需要更自然的交互方式是天然存在的，全双工为此成为了躲不掉的问题。

这里我想多说一句：小模型不是大模型的缩水版。

不少人存在一种直觉，认为小模型乃是能力相对弱一些、价格较为便宜一点的大模型，是在性能与成本之间达成的一种妥协。

不过，都已经到2026年了，我感觉，这个理解恐怕是需要修正一番了。小模型跟大模型，更像是两条彼此平行的路线，它们各自有着自己所要解决的问题。

那么我们能够看到，小模型于某些方向之地，反倒行进得更为迅速。全双工便是此类之一例。

小模型所面对的是端侧场景，端侧的主场景绝对不是打字聊天，它要求具备能看的能力，还要求其有着能听的特长，并且需拥有能说的本事，可不是简单的打字聊天那般😕。

设想一下，当一个AI助手正与你交谈之际，要是突然有他人敲门，它应当能够听见，并且能够停下话语来对你予以提醒。

这才是正常的交互方式。端侧不可能像 GPT 那样交互。

有一家名为面壁的公司，我在此就不多作阐述了，大家能够去搜索了解一下的。在往昔的去年，我已然撰写过相关内容，我个人认为它有望成为大模型所处的这个领域里面的一匹具有突出潜力的黑马。

随着小模型的场景逐步显现，大家会意识到他们做的事情的价值。

#02

小模型能走多远？

方才讲过小模型跟大模型称得上是两条并行的路线哦。如此那就自然而然地不可避免会展露出这样一个问题呵：这条路线上面所能达到的最高极限界限究竟所处何方呢。

终究参数量处于那般状况，9B同千亿级别的模型相较，所能容纳的知识必定较少。小型模型于端侧场景存有优势，然而要是能力上限太过低下，优势同样无法施展出来。

这个担心是合理的。但有一条暗线，很多人没注意到。

迈向通用人工智能其实有两条主线在并行推进。

其中一条是能力实现跃迁，在2018年的时候，大规模预训练开始演变成主流范式。

于2023年时，GPT-4使模型的综合能力向前推进了颇为显著的一大截，文本、代码以及图像输入相互融合，进而导致复杂任务的完成程度明显得以提升。

进到 2024 年，OpenAI o1露面了，这使众人察觉到，模型不光是变得更具聪慧程度了，它已然开始呈现出具备更长链条的推理本领。

总之，模型能力的跃迁大家都非常关注。

但还有另一条线，很多人没太注意到：能效提升。

用更低的成本实现同样水平的智能。

记得，当时面壁讲了一个说法，有人把它叫作，Densing Law ,也就是说知识密度方面之定律，懂了吧。

他们对2023年以来的全球范围内最为先进的开源模型做了统计，从中发现，模型的能力密度大概是每3.5个月就会实现翻倍。

为何意？有着相同参数量的模型，历经三个多月已然能够装入的知识便可实现翻倍。换个角度来讲，若要达成同样的能力，所需的参数量每三个多月便会减少一半，是这样的情况。

这番规律所蕴含的究竟是什么呢？小模型的能力界限并非属于那种固定不变的情形，相反却处于持续不断地往上提升的状态之中。

2024 年之际，有一些经过优化的小模型，在特定任务方面已然能够展现出不错的表现，然而其综合能力依旧与大模型存在差距。

经历结构优化与压缩之后，到了 2025 年，端侧设备之上已然能够呈现出颇具模样的推理逻辑。尽管尚无法全然重现大模型的能力，然而其间的差距正以肉眼能够察觉的态势在不断缩减。

今天 9B 做不到的事，可能明年 9B 就能做到。

再者，硬件部分也予以配合，端侧芯片的算力升高速度极快，由 40 TOPS 提升到 320 TOPS，增量近乎 10 倍。

模型的密度处于提升的状态，芯片的算力处于增长的情形。两条曲线相互交汇的那个地方，便是端侧智能爆发的时刻。

#03

写在最后

我们时常谈论大模型公司的路线，要么是如同OpenAI那般竭尽全力去做平台，意图成为一个超级得不得了的AI入口，要么是像Anthropic那样专门针对垂直场景发力，就好比Coding这种，要把一个方向钻研到极致无比的透彻。

二零二六年，大模型大概将要进入淘汰赛进程，找不到自身特色，且找不到生态位的公司，其处境将会比较尴尬。

当前，在头部位置的那几个模型已然算得上清晰起来了，至于谁在哪方面擅长，大家的内心里面是有一定数目的，而且这方面的应用也已经展开了。然而，模型自身没有办法寻找到定位，那么针对于它的那些应用也就更加艰难地拥有一个可以立足的地方了。

但其实不是只有这两条路。

小模型会是第三条确定性的路线。今年大家会越看越清楚。

它的逻辑并非是去比拼云端的能力极限，而是要处理一类大模型无法应对的难题，即让AI切实融入日常生活当中种种设备里面，能够实时做出反应，保障隐私安全，即便断网之时也依旧可以正常使用。

这就如同计算设备，从一开始的大型机，慢慢转变为 PC，而后又有了笔记本，紧接着出现了手机，这类设备变得越来越小，并且距离人越来越近，而 AI 应该也会走上与之相似的道路。

我在深圳待了几天，真的见到很多有意思的硬件。

例如，有个哥们所在的公司，进行墨水屏设备的制作，该设备体积非常小，能够放置在书桌之上，当作日历来使用，并且，它还能够连接日程提醒功能。在增添了AI能力以后，它还支持通过语音进行唤醒操作。这是相当有趣的，你会产生一种感觉，仿佛这个东西原本就应当具备AI。

类似的产品还有很多。现在可能都还挺早期，但方向是对的。

往将来瞧，智能大概不会仅存于云端的那几个超级大脑里，相反会分散至我们身旁的各式各样的设备之上，恰是小模型为这些设备所必需的。

朝着这个方向押注进行面壁。听闻其于今年年中会发布一款名为松果派的开发板，此开发板专门用于端侧AI的全栈开发。要打通从模型至硬件的这条链路。

非常期待。