大规模分布式训练框架
研发的高效训练框架结合分布式计算、混合精度训练和优化的数据管道,支持在多GPU集群上快速迭代大模型。创新点包括参数共享机制和低延迟通信协议,提升训练效率的同时减少能源消耗。
强化学习优化技术
采用基于人类反馈的强化学习(RLHF)进行模型微调,通过算法如PPO优化模型输出,使其与人类偏好和安全规范对齐。创新点在于构建定制化奖励模型和高效策略优化框架,结合大规模数据训练,实现对话质量的提升和有害内容的减少。
专家混合架构(Mixture of Experts, MoE)
基于大模型的专家混合架构,使用多个子模型(专家)共享权重,仅在处理特定输入时激活部分专家,实现高效的推理资源分配。创新点在于DeepSeek-V2模型中采用的轻量级共享专家机制,减少了模型规模的同时保持高性能,支持128K tokens上下文处理,相较于传统Transformer模型,推理成本显著降低。
融资次数
3
员工数量
-
经营范围
一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;网络技术服务;软件开发;物联网技术服务;信息技术咨询服务;计算机软硬件及辅助设备批发;计算机软硬件及辅助设备零售。(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)(不得从事国家和本市产业政策禁止和限制类项目的经营活动。)
主营业务
提供人工智能大模型技术,通过强化学习优化智能体验。
北京谱塞科技有限公司
有限责任公司(台港澳法人独资)
$600万
2023-07-28
吴鹏飞
15071660966
lishihui@openpsi.com
北京市海淀区永丰路9号院3号楼A座2层中段345号