商汤大装置:异构混推如何让Token生产更高效
商汤大装置专家罗伟分享异构推理实践,通过横向编排与纵向优化两条主线,应对Token调用量千倍级增长挑战,日均Token服务量半年增长近十倍。