IT之家，10月27日有消息传来，高通公司在今日之举，乃是发布其新一代专门针对数据中心的AI推理优化解决方案，该方案具体情况为，基于高通AI200以及AI250芯片的加速卡，还有基于高通AI200以及AI250芯片的机架。

高通AI200推出一款用于机架级AI推理的解决方案，该方案旨在提供低拥有总成本和优化后的性能，其用于大型语言和多模态模型推理以及其他AI工作负载，每张卡支持768GB的LPDDR内存，以此来实现更高的内存容量以及更低的成本。

高通AI250解决方案，会采用基于近内存计算的创新内存架构，能提供超过10倍的内存带宽提升，还可降低功耗，进而为AI推理工作负载带来更高的效率与性能。

这两种机架解决方案，均采用直接液冷技术，以此提高散热效率支持PCIe扩展。支持以太网扩展，支持机密计算，从而保障AI工作负载安全还有160kW的机架级功耗。

高通有超大规模AI软件栈，其从应用层覆盖到系统软件层，是端到端的，且专为AI推理作了优化，该栈还支持领先的机器学习框架，支持推理引擎，支持生成式AI框架，也支持LLM/LMM推理优化技术，像解耦合服务技术此类，开发者能够借助高通技术的Efficient Transformers Library，还能借助高通AI推理套件，去实现模型的平滑上载，也能实现Hugging Face模型的一键部署。高通所提供的软件，有着即用型AI应用，还有代理，具备全面的工具，有库、有API ，也有服务，这些都是用于AI的运营的 。

高通 AI200 预计于 2026 年商用，高通 AI250 预计于 2027 年商用。

截至IT之家发文，高通公司股价大涨 20%。