10月27日，高通官方公布推出了面向数据中央的下一代AI推理优化解决方案——基在高通AI200及AI250芯片打造的加快卡及机架。这两年夜方案都以高通NPU技能为基础，具备富厚的软件栈，并与主流AI框架兼容，撑持一键式模子部署，我爱音频网报导。

高通AI200带来了专为机架级AI推理打造的解决方案，针对于年夜语言模子及多模态模子（LLM、LMM）推理及其他AI事情负载优化了机能，并具备整体拥有成本（TCO）更低的上风。该方案每一张卡撑持768GB LPDDR年夜内存，实现更高容量的同时，也能降低成本，带来更精彩的扩大能力及矫捷性。

另外一个高通AI250解决方案则采用近内存计较的立异内存架构，提供跨越10倍的有用内存带宽晋升及更低的功耗，让AI推理事情负载实现效率及机能年夜幅晋升。

上面提到的两款机架解决方案都采用直接液冷散热以晋升效率，撑持PCIe纵向扩大与以太网横向扩大、秘要计较功效保障AI事情负载安全，机架级功耗为160kW。

高通超年夜范围级的AI软件栈实现了从运用层到体系软件层的端到端笼罩，并针对于AI推理举行深度优化。该软件栈撑持主流呆板进修框架、推理引擎、天生式AI框架，以和年夜语言模子/多模态模子推理优化技能，软件平台提供即用型的AI运用、综合东西等。

官方暗示，依附高通AI200与AI250，正于从头界说机架级AI推理的可能性。这些立异的AI基础举措措施解决方案让客户可以或许之前所未有的总拥有成本部署天生式AI，同时满意现代数据中央所需的矫捷性与安全性。

高通这次推出的AI200及AI250估计别离于2026年及2027年商用，更多评测、拆解敬请期待我爱音频网。

我爱音频网是海内最早举行智能音频装备（蓝牙耳机、TWS无线耳机、有线耳机、智能音箱、蓝牙音箱、USB-C/Lightning耳机）阐发、评测、拆解的专业机构。稿件送达、接洽咱们：info@52audio.com Copyright © 2016-2026 我爱音频网. Designed by nicetheme. 地址：深圳市龙岗区坂田街道南坑社区雅园路5号创意园Y4栋4层407-410，接洽德律风：17722607323-拉斯维加斯官网网站