大规模混合专家语言模型(MoE)架构
HiDream.ai的核心技术基于混合专家(Mixture-of-Experts, MoE)架构的大语言模型设计。该架构采用了稀疏激活机制,在推理时仅激活部分专家层(如专家层占总参数的10%左右),而非全模型激活,大幅减少了计算资源消耗。关键创新点包括动态路由算法优化(例如基于输入特征的智能路由,提升处理效率)、分片专家并行训练框架(支持大规模分布式计算),以及开源实现的Honeybee模型系列(如1B参数模型),专注于高精度低延迟的输出。
融资次数
5
经营范围
一般经营项目是:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;数据处理服务;软件开发;信息技术咨询服务;数字技术服务;社会经济咨询服务;广告设计、代理;广告制作;广告发布;电子产品销售;机械设备销售;计算机软硬件及辅助设备批发;家用电器销售;仪器仪表销售;文具用品批发;体育用品及器材批发;厨具卫具及日用杂品批发;计算机系统服务;机械设备租赁。(除依法须经批准的项目外,凭营业执照依法自主开展经营活动),许可经营项目是:无
主营业务
专注于人工智能图像生成模型的研发与商业化,通过开发AI驱动工具和软件平台,提供端到端的图像生成解决方案和服务。
深圳智象未来科技有限公司
有限责任公司
¥123万
2023-03-21
林萌丽
sabrina.yan@hidream.ai
深圳市福田区福保街道福保社区桃花路与槟榔道交汇处西北深九科技创业园5号楼208F