10月28日，高通技术公司今日发布两款面向数据中心市场的AI推理芯片解决方案——Qualcomm AI200与AI250。这两款产品以加速卡和机架系统形式提供,专门针对大语言模型和多模态模型的推理场景进行优化。
据了解，Qualcomm AI200的单张加速卡可支持768GB LPDDR内存，采用机架级设计架构。该方案通过提升内存容量并降低成本,试图在AI推理的扩展性与灵活性上寻求平衡点。而Qualcomm AI250则引入了近存计算(Near-Memory Computing)技术，官方数据显示,这一架构能够使有效内存带宽提升超过10倍，同时降低功耗表现。
从散热与扩展能力来看，两款机架方案均支持直接液冷技术，并具备PCIe纵向扩展与以太网横向扩展能力。整机架功耗控制在160千瓦，同时配备机密计算功能以保障数据中心工作负载的安全性需求。
高通技术公司高级副总裁兼技术规划、边缘解决方案和数据中心业务总经理马德嘉(Durga Malladi)在发布时表示，这两款产品重新定义了机架级AI推理的能力边界，软件层面覆盖从应用层到系统软件层的完整技术栈，并兼容主流机器学习框架和推理引擎。开发者可通过高通的高效Transformer库以及Qualcomm AI Inference Suite实现模型快速接入，支持Hugging Face模型的一键部署流程。
值得注意的是,AI250方案中提到的解耦式AI推理架构,旨在提升硬件资源的利用效率,这也是当前数据中心AI部署中较为关注的技术方向之一。
从商用时间表来看，Qualcomm AI200预计于2026年实现商用，AI250则计划在2027年推向市场。高通方面透露，未来将以年度迭代节奏推进数据中心产品线，持续在AI推理性能、能效和总体拥有成本方面进行技术演进。