活动 | 清昴智能受邀出席昇腾“淬火行动”,共话国产化部署优化新篇章!
近日,旨在赋能伙伴锻造AI核心技术人才的昇腾“淬火行动”-伙伴能力提升培训在北京圆满落幕。清昴智能技术总监杨泽乾受邀出席活动并进行了主题分享,与来自全国各地的行业伙伴及其AI技术开发者,共同开启了一场从硬件架构到大模型应用的全栈技术探索之旅。
清昴智能技术总监杨泽乾带来《面向大规模 MoE 模型和行业模型的国产化部署优化探索》主题分享,深度剖析自主创新背景下,大规模 MoE(混合专家)模型在国产化硬件部署中面临的性能适配、资源调度等多重技术挑战,并重磅发布清昴全栈式专属解决方案,为国产化 AI 技术在行业场景的深度落地提供关键技术支撑。
以昇腾 300I DUO 为例,其芯片互联带宽受限、通信平面异构等硬件特性,曾在大规模分布式计算场景下对模型性能释放形成显著制约,尤其在多卡协同、长文本处理等复杂场景中,硬件潜力难以充分发挥。
清昴智能基于对国产化硬件架构与 AI 模型底层逻辑的深刻理解,依托模型优化、异构量化、并行通信优化、缓存与调度优化、算子融合与优化等全维度创新实践,形成针对性突破:通过定制化并行通信算法与异构拓扑感知策略,破解 300I DUO 的带宽瓶颈与多卡通信限制;借助异构量化与算子融合技术,在保障模型精度的同时降低硬件资源消耗;结合智能缓存调度方案,适配长上下文、高重复率的 Agent 场景需求,大幅提升资源利用效率。
清昴的软硬件协同优化,从底层驱动到上层应用实现技术闭环,成功激活昇腾 300I DUO 的硬件性能潜能,让大规模 MoE 模型与行业模型在昇腾 300I DUO平台上实现高效稳定运行,为企业 AI 私有化部署筑牢技术根基。
目前,清昴已围绕昇腾300I Duo打造了全尺寸模型解决方案:基于 “鲲鹏 + 昇腾 300I Duo” 全栈国产化架构,推出高性价比、均衡效能、高性能三级配置,覆盖 32B、70B 到 200B MoE 模型,10 万元级起步即可支撑从日常应用到企业级核心任务的全场景需求,实测长上下文、Agent 模式性能优异,让AI真正赋能业务!
联系我们
若您想要资讯产品相关事宜,可扫码或点击“阅读原文”填写问卷
关于清昴
用AI打造硬件最优AI,重塑AI生产力
专注于AI模型推理部署的解决方案提供商
解决大模型落地痛点,赋能千行百业
切入模型推理、部署环节
让AI触达世界每个角落
长按识别 关注我们