类脑芯片#
作者: Joyee Wang & Shawn & MamieZhu
通过 Neurai 可简化各种新颖架构芯片的上线流程,用户只需要学习统一的API就可以在不同类型的芯片上部署模型。
目前主要提供两种部署选项:一种是使用 JSON 格式的中间表示文件 (IR), 参考 网络结构描述文件(IR),另一种是利用通用的计算图格式。
本文将提供一个具体示例,说明如何在 Lynxi
神经形态芯片上部署模型。
Lyngor 是Lynxi系列芯片的一个安装包,存在于SDK之上,包含编译、加载和运行的全过程,在其内部, Lyngor
会调用SDK,再调用驱动,最终在神经形态芯片上执行。
KA200神经形态芯片,基于集成存储与计算的新型架构,拥有大规模并行且异构设计的特性,可以有效支持深度学习神经网络、生物神经网络和大规模大脑模拟。
单一芯片可以集成25万个神经元和2500万个突触(密集模式),并可扩展支持200万个神经元和20亿个突触(稀疏模式)的集成计算。
另外,该芯片还支持混合精度计算,具体为 48 TOPS@INT8 和 24 TFLOPS@FP16 的运算能力。

如上图所示,Lynxi
神经形态芯片的部署流程可以分为以下几个步骤:
准备模型:首先,用户需要准备好模型文件,如 网络结构描述文件(IR) 格式;
编译模型:编译模型的过程会产生编译产物文件,会将模型转换为
Lynxi
神经形态芯片的计算图格式;运行模型:运行模型的过程会将编译产物文件加载到芯片的内存中,并启动计算。
在第一步准备的模型中,有两种形式,一种为中间表示文件,另一种为通用计算图格式。
中间表示文件,它包含了模型的结构、权重、输入、输出等信息,可以直接用于 Lynxi
神经形态芯片的部署。而通用计算图格式则可以将模型转换为 Lynxi
神经形态芯片的计算图格式。
本模块主要从以下几个方面介绍类脑芯片配置及部署的相关知识:
环境配置及模型交互,介绍如何配置环境,并使用模型文件运行在
Lynxi
神经形态芯片上,参考 类脑芯片环境配置及模型交互 ;APU平台运行示例,介绍如何使用
Lynxi
神经形态芯片运行示例模型,参考 APU平台运行示例 ;APU中间表示文件,介绍
Lynxi
神经形态芯片的中间表示文件格式,参考 网络结构描述文件(IR) 。