类脑芯片#

作者: Joyee Wang & Shawn & MamieZhu

通过 Neurai 可简化各种新颖架构芯片的上线流程,用户只需要学习统一的API就可以在不同类型的芯片上部署模型。 目前主要提供两种部署选项:一种是使用 JSON 格式的中间表示文件 (IR), 参考 网络结构描述文件(IR),另一种是利用通用的计算图格式。 本文将提供一个具体示例,说明如何在 Lynxi 神经形态芯片上部署模型。 Lyngor 是Lynxi系列芯片的一个安装包,存在于SDK之上,包含编译、加载和运行的全过程,在其内部, Lyngor 会调用SDK,再调用驱动,最终在神经形态芯片上执行。 KA200神经形态芯片,基于集成存储与计算的新型架构,拥有大规模并行且异构设计的特性,可以有效支持深度学习神经网络、生物神经网络和大规模大脑模拟。 单一芯片可以集成25万个神经元和2500万个突触(密集模式),并可扩展支持200万个神经元和20亿个突触(稀疏模式)的集成计算。 另外,该芯片还支持混合精度计算,具体为 48 TOPS@INT8 和 24 TFLOPS@FP16 的运算能力。

APUInteract

如上图所示,Lynxi 神经形态芯片的部署流程可以分为以下几个步骤:

  1. 准备模型:首先,用户需要准备好模型文件,如 网络结构描述文件(IR) 格式;

  2. 编译模型:编译模型的过程会产生编译产物文件,会将模型转换为 Lynxi 神经形态芯片的计算图格式;

  3. 运行模型:运行模型的过程会将编译产物文件加载到芯片的内存中,并启动计算。

在第一步准备的模型中,有两种形式,一种为中间表示文件,另一种为通用计算图格式。 中间表示文件,它包含了模型的结构、权重、输入、输出等信息,可以直接用于 Lynxi 神经形态芯片的部署。而通用计算图格式则可以将模型转换为 Lynxi 神经形态芯片的计算图格式。

本模块主要从以下几个方面介绍类脑芯片配置及部署的相关知识:

  1. 环境配置及模型交互,介绍如何配置环境,并使用模型文件运行在 Lynxi 神经形态芯片上,参考 类脑芯片环境配置及模型交互

  2. APU平台运行示例,介绍如何使用 Lynxi 神经形态芯片运行示例模型,参考 APU平台运行示例

  3. APU中间表示文件,介绍 Lynxi 神经形态芯片的中间表示文件格式,参考 网络结构描述文件(IR)

环境配置及模型交互
APU平台运行示例
APU中间表示文件