一家清华初创公司想做AI模型算力的“超级放大器”，为人工智能提供设施，推出了设备端开源模型。

12月16日，上海无问芯智能科技有限公司推出端侧全模态理解开源模型Megrez-3B-Omni。 30亿参数规模适合手机、平板等端侧设备。它具有图片、音频、文字三大功能。模态数据处理能力。

在文本理解方面，Megrez-3B-Omni将上一代14B大模型压缩为3B大小，降低计算成本，提高计算效率。语音理解方面，该模型支持中英文语音输入，处理复杂的多轮对话场景，支持输入图片或文字的语音问题，并且可以在不同模式之间自由切换。在图像理解方面，该模型可以在场景理解和OCR（光学字符识别）等任务上识别和提取文本信息。 Megrez-3B-Instruct，同步开源纯语言版本模型，是单模态模型。其最大推理速度领先同精度模型300%，并具有AI搜索功能。

无文核由清华大学电子工程系教授、系主任王宇发起。他领导的NICS-EFC实验室早在2008年就投入智能场景软硬件联合优化技术，提出了“算法创新-编译”的地图-硬件架构联合优化的设计范式。联合创始人、首席科学家戴国豪毕业于清华大学电子工程系NICS-EFC实验室。现任上海交通大学常任教学副教授、清远研究院人工智能设计自动化创新实验室负责人。联合创始人兼CEO夏立雪是王宇的博士生。

“我们主要做设备端的小模型，一方面是因为客户端是我们的重点业务之一，另一方面也证明我们有能力训练和优化模型。云和端一直都是“我们的两大业务过去主要是在云上发力，现在我们开始在云上和端上发力。”吴文新琼表示，与大云模式相比，端侧模式需要更上一层楼。在资源有限的设备上快速部署并高效运行，这减少了模型计算和存储。需求提出了更高的要求。 Megrez-3B-Omni采用软硬件协同优化策略，使各项参数适配主流硬件。该模型是能力的预览，未来会持续迭代。未来，用户只需给出简单的语音指令即可完成终端设备的设置或应用操作。该解决方案通过跨越软件和硬件支持CPU、GPU和NPU的同时推理。分层系统优化带来高达70%的额外性能提升，最大化利用端侧硬件性能。