• 最近访问:
发表于 2025-05-07 12:26:20 股吧网页版
AI部署成本有望降至5万元以内 联想发布推理加速引擎 搭载产品预计下半年上市
来源:每日经济新闻

  今年年初,AI一体机批量现世,让企业尤其是中小型企业部署AI和大模型的成本从动辄百万元下探到了20万元左右。几个月后,这一成本有望进一步下探至数万元级别。5月7日,以“让AI成为创新生产力”为主题的联想创新科技大会(Tech World)在上海举办,《每日经济新闻》记者现场参会。

  会上,联想集团展示了其在端侧算力方面的最新成果——“联想推理加速引擎”。《每日经济新闻》记者在发布会现场了解到,这款由联想、清华大学及无问芯穹联合研发的推理引擎是专为高效AI PC推理而设计的软硬件协同优化平台,可让一台普通PC(笔记本电脑)的本地推理能力媲美OpenAI去年发布的o1-mini云端模型。

  从实现逻辑上看,“联想推理加速引擎”主要通过高性能并行解码、算子融合优化以及异构计算技术,需与大模型推理芯片相结合,从而实现多种应用场景下推理速度的提升,同时降低功耗和内存占用。

  联想集团董事长兼CEO杨元庆在发布会现场称,消费者将在即将发布的下一代AI PC上体验到“联想推理加速引擎”。“今天随着AI需求的爆发式增长,端侧计算和推理能力的提升将依然保持指数级增长的速度,甚至更快。未来12个月,端侧AI综合能力将实现至少三倍的提升,这也许不是梦想!”杨元庆称。

  《每日经济新闻》记者还在展台现场发现,联想集团此次还展示了搭载上述加速引擎的台式电脑产品。据展台现场工作人员介绍,该款产品内置了1张中阶显卡、1张显存扩容卡以及“联想推理加速引擎”,整体造价约在4万元左右,可实现32B大模型的本地训练,预计今年下半年上市,有望进一步降低金融、教育、法律等领域的企业用户尤其是中小企业用户私有化部署大模型的成本。

  据上述工作人员介绍,市面上的32B大语言模型传统训练方案的整体造价很高,如国内某厂商的成本约在200万元左右,最少需要8张英伟达显卡,对中小企业来说部署成本过高。在联想此次展示的电脑上,通过内置的“AI Studio”软件平台,用户可将自己的数据库及个性化信息通过自选大模型(32B模型)进行训练,模型本地训练成本可下降98%。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
郑重声明:用户在社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-34289898 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:021-54509966/952500