近年来,类脑计算作为人工智能领域的重要方向,以其低功耗、高效率、高容错性等优势,展现出巨大的发展潜力。然而,类脑计算开发门槛高、与传统人工神经网络(ANN)难以结合、缺乏高效易用的开源框架和丰富案例等问题,一直制约着其广泛应用。为了突破这一瓶颈,灵汐科技联合脑启社区正式宣布开源类脑深度学习应用开发平台BIDL(Brain-inspired Deep Learning)。
BIDL基于深度学习框架Pytorch构建,实现了GPU和类脑计算芯片的双硬件平台支持,实现了一套用户代码可在两类硬件平台运行的异构执行范式。支持ANN/SNN/异构融合模型的构建。针对灵汐类脑计算芯片进行了深度适配,不仅提供了用户友好的SNN构建及训练环境,还显著提升了模型在类脑计算平台下的计算效率和能效比。
其支持高精度的BPTT训练方法,可用于训练典型的脉冲神经网络(SNN)模型,并可与传统的深度学习网络层混合使用,实现异构融合网络构建和训练。该训练平台充分考虑了灵汐类脑计算系统的计算特性,训练后的网络可自动编译并部署于灵汐类脑计算系统,实现高效率推理。
图1. BIDL系统架构图 核心亮点:赋能开发者,助力应用落地 一是跨平台部署,灵活高效。BIDL支持将AI模型无缝部署到GPU和类脑芯片上,开发者无需针对不同硬件平台进行代码修改,极大地提高了开发效率。这意味着开发者可以将更多精力投入到算法设计和模型优化上,而无需担心底层硬件平台的差异。 二是优化了类脑计算芯片的计算效率。我们将灵汐类脑计算芯片与部分GPU进行了多个ANN/SNN融合应用案例的性能指标平均值对比。在满足算法精度基本不下降时,流式场景(batch size=1)下,灵汐类脑计算芯片延迟与功耗降均下降一个数量级;批计算场景(两者均采用可用最大batchsize)下,灵汐类脑计算芯片较GPU能效比平均增益约5倍。这些指标展现了类脑计算范式对类脑网络的高效率支持。借助BIDL,用户可直接通过pytorch语言,轻松获得上述性能。 三是丰富案例,开箱即用。BIDL提供了多种分类案例(含DVS数据处理、短视频处理、文本、医学影像、大规模图像及事件信息处理)、类脑跟踪案例、高速目标检测案例在内的7大类案例与20+具体案例。这些案例包括了ResNet50-LIF,Spiking Transformer,ST-YoloV5等大规模类脑模型,BIDL提供的案例都提供了类脑计算芯片的推理计算支持,展现了类脑计算芯片的广泛应用支持能力。开发者可以快速上手并应用到实际项目中。这些案例不仅展示了BIDL的强大功能,也为开发者提供了宝贵的参考和借鉴。 与BindsNet、Spikingjelly、BrainPy等SNN框架相比,BIDL面向类脑计算芯片进行了深度适配,既提供了较高的芯片执行效率,又提供了面向类脑计算范式的简易编程模式。与Loihi 2的计算框架Lava、SpiNNaker编译器SpiNNTools等工具相比,BIDL提供的模型规模更大、精度更高(提供FP16权重精度)、灵活度更高(全模型支持pytorch原生编程)。 应用案例 BIDL源自灵汐类脑计算专用软件LYNBIDL®。LYNBIDL已服务几十家客户,应用于类脑计算研究、事件相机信息处理、泛安防等领域。 在2024年10月-12月举办的首届脑启社区类脑智能创新大赛上,BIDL工具提前开放给选手试用。该大赛的技术组创新奖获得者(电子科技大学团队)在脑启云平台基于BIDL框架部署了其空间-通道-时间融合注意力SNN(SCTFA-SNN)模型,于较短时间内就完成了针对类脑芯片的适应性优化。 开源社区,共建生态 BIDL秉承开源精神,代码已在GitHub平台开源,并提供了详细的文档,后续将在