AI部署成本有望降至5万元以内 联想发布推理加速引擎 搭载产品预计下半年上市
更新时间:2025-05-07 14:19:52 浏览次数:

  今年年初,AI一体机批量现世,让企业尤其是中小型企业部署AI和大模型的成本从动辄百万元下探到了20万元左右。几个月后,这一成本有望进一步下探至数万元级别。5月7日,以“让AI成为创新生产力”为主题的联想创新科技大会在上海举办,会上,联想集团展示了其在端侧算力方面的最新成果——“联想推理加速引擎”。从实现逻辑上看,“联想推理加速引擎”主要通过高性能并行解码、算子融合优化以及异构计算技术,需与大模型推理芯片相结合,从而实现多种应用场景下推理速度的提升,同时降低功耗和内存占用。

  联想集团董事长兼CEO杨元庆在发布会现场称,消费者将在即将发布的下一代AI PC上体验到“联想推理加速引擎”。“今天随着AI需求的爆发式增长,端侧计算和推理能力的提升将依然保持指数级增长的速度,甚至更快。未来12个月,端侧AI综合能力将实现至少三倍的提升,这也许不是梦想!”杨元庆称。

  据上述工作人员介绍,市面上的32B大语言模型传统训练方案的整体造价很高,如国内某厂商的成本约在200万元左右,最少需要8张英伟达显卡,对中小企业来说部署成本过高。在联想此次展示的电脑上,通过内置的“AI Studio”软件平台,用户可将自己的数据库及个性化信息通过自选大模型进行训练,模型本地训练成本可下降98%。

推荐图文

鄂ICP备2024040700号-2
武汉砺行体育文化传媒有限公司-版权所有
数据源自网络仅供参考