指令强化微调与推理优化技术
结合监督微调和强化学习(如PPO算法),针对特定任务(如数学求解和逻辑推理)进行精细化调整。创新性引入知识注入框架,利用外部知识库(如Wiki数据)进行模型增强,并通过动态路由和模型压缩减少推理开销。在安全机制中,集成对抗性训练以提升鲁棒性和可解释性。
视觉-语言多模态对齐技术(用于Step-2V模型)
采用端到端的视觉Transformer(ViT)架构与语言模型融合方案,实现图像特征与文本表示的语义级对齐。通过跨模态注意力机制和对比学习预训练,优化图像编码器到语言解码器的信息传递,提升多模态理解能力。创新点包括动态适配层和弱监督数据增强,减少标注需求并增强泛化性。
128K超长上下文处理技术
通过改进的位置编码(如旋转位置编码Rotary Position Embedding)和高效注意力机制(如稀疏注意力与局部-全局混合策略),扩展模型上下文窗口至128K tokens,解决了长序列处理中的内存和计算瓶颈。创新性地引入缓存机制和分块策略,优化长文本的内存占用,提升连贯性处理能力。
千亿级Transformer架构优化技术
基于Transformer的大型语言模型框架,参数规模达千亿级别,通过创新的参数分片和高效分布式训练算法(如混合精度训练和梯度累积)减少训练成本,并集成知识蒸馏技术提升模型泛化能力。该技术在训练阶段采用大规模无监督预训练与领域自适应微调相结合,显著提高模型效率和推理速度。
融资次数
1
专利数量
2
经营范围
许可项目:第二类增值电信业务;互联网信息服务。(依法须经批准的项目,经相关部门批准后方可开展经营活动,具体经营项目以相关部门批准文件或许可证件为准) 一般项目:技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;人工智能行业应用系统集成服务;人工智能应用软件开发;信息系统集成服务;人工智能理论与算法软件开发;人工智能基础软件开发;人工智能双创服务平台;软件开发;人工智能通用应用系统;人工智能硬件销售;互联网数据服务;人工智能公共数据平台;人工智能基础资源与技术平台;软件销售;计算机软硬件及辅助设备零售;互联网销售(除销售需要许可的商品);信息技术咨询服务;信息系统运行维护服务;计算机及通讯设备租赁。(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)
主营业务
自主研发和提供高性能千亿参数AI大模型及其应用服务,专注于知识理解、数学推理、代码指导和文本创作等领域的企业级解决方案。
上海阶跃星辰智能科技有限公司
有限责任公司(自然人投资或控股)
¥2,000万
2023-04-06
姜大昕
上海市徐汇区丰谷路315弄24号1-3层