RWKV架构
RWKV是一种开源的非Transformer大语言模型架构，核心创新点在于采用类循环神经网络（RNN）的'Receptance Weighted Key-Value'机制。该机制通过一个状态向量捕获序列上下文，避免标准Transformer架构中自注意力的平方复杂度（O(n^2)），实现线性时间复杂度（O(n)）和较低内存占用。关键创新包括：状态空间建模与键值加权，允许并行训练同时维持高效推理；通过线性递归确保全局语境捕捉，提升长序列处理能力；支持扩展到数十亿参数规模，并兼容多种优化技术如混合精度训练和量化。
融资次数
2
经营范围
一般经营项目是：人工智能硬件销售；人工智能双创服务平台；人工智能公共服务平台技术咨询服务；人工智能公共数据平台；人工智能基础资源与技术平台；人工智能基础软件开发；人工智能应用软件开发；人工智能理论与算法软件开发；人工智能通用应用系统；人工智能行业应用系统集成服务；教学用模型及教具制造；教学用模型及教具销售；软件开发；网络与信息安全软件开发；软件外包服务；软件销售；业务培训（不含教育培训、职业技能培训等需取得许可的培训）；大数据服务；互联网数据服务；数据处理服务；数据处理和存储支持服务；互联网安全服务。（除依法须经批准的项目外，凭营业执照依法自主开展经营活动），许可经营项目是：互联网信息服务。（依法须经批准的项目，经相关部门批准后方可开展经营活动，具体经营项目以相关部门批准文件或许可证件为准）
主营业务
未提供相关信息
深圳元始智能有限公司
有限责任公司(自然人投资或控股)
￥102万
2023-06-15
胡小玲
深圳市南山区蛇口街道渔一社区湾厦路126号南山互联网创新创意服务基地二期B408