高效率大规模模型训练与推理技术
为支持其核心大语言模型的研发，月之暗面构建了高效的大规模分布式训练平台。该平台深度融合了多维度张量并行、流水线并行、专家混合模型、激活值检查点重计算、通信优化等先进技术，旨在最大化利用GPU集群的计算资源，优化千亿参数模型的训练速度和稳定性。在推理端，部署了如算子融合、动态批处理、请求调度、KV缓存优化与高精度量化等关键技术，以降低延迟、提升并发吞吐量，实现复杂模型在生产环境的高效服务。
超长上下文窗口优化技术
月之暗面基于Transformer架构的核心创新在于极大扩展模型上下文处理能力。通过创新的注意力机制优化（如结构化稀疏注意力）、位置编码增强、层级上下文管理以及高效的内存压缩与调度算法，使其主力模型Kimi能够稳定处理高达128K甚至拓展至200K tokens的超长上下文窗口。这显著突破了标准Transformer架构在处理超长输入时的计算复杂度和信息感知能力限制。
融资次数
4
专利数量
-1
经营范围
一般项目：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；软件开发；计算机系统服务；软件销售；计算机软硬件及辅助设备零售；计算机软硬件及辅助设备批发。（除依法须经批准的项目外，凭营业执照依法自主开展经营活动）（不得从事国家和本市产业政策禁止和限制类项目的经营活动。）
主营业务
主营人工通用智能（AGI）的核心研发及其商业化应用，结合AIGC技术提供创新的人工智能生成内容解决方案，推动产业智能化转型。