高通携手阶跃星辰,300亿参数大模型装进手机

作者:作者:故渊 发布时间:2026-09-23 08:22:05 浏览:19
关键字:
高通联合阶跃等厂商在第六代骁龙8平台上端侧适配300亿参数MoE模型,内存需求降超50%,预填充吞吐超330 Token/s。

在2026骁龙峰会上,高通宣布携手阶跃、无量火及江波龙,基于第六代骁龙8超级至尊版移动平台,完成阶跃StepEdge-Omni 30B-MoE模型的端侧适配与推理优化,并现场演示了智能体助手。

该模型拥有300亿参数,采用混合专家架构,按任务需要仅激活部分专家模块,从而降低计算量与内存带宽需求。合作方通过推理引擎、异构调度及存储方案优化,使运行内存需求较行业常规方案降低超过50%,并能在手机上稳定运行。

高通表示,该方案无需调用云端服务,可在本地完成邮件理解、行程规划、日历同步、航班及酒店推荐、行程分享和邮件草拟等任务。

测试数据显示,模型预填充吞吐超过每秒330个Token,解码吞吐超过每秒28个Token。预填充吞吐指模型推理预填充阶段每秒处理的输入词元数量,是衡量长提示词与批量请求处理能力的关键指标。

业内人士认为,大参数MoE模型在手机端部署,有助于推动低时延和隐私保护型智能体应用发展,但规模化应用仍取决于终端成本、功耗、模型可靠性及用户接受度等因素。

阅读原文

本文由融业云AI采集并编辑,仅供学习使用!

本文来自ithome.com,作者故渊

有问题,请联系客服!http://www.rongyeyun.com/kefu/