嵌入式神经网络部署泛谈
本章节是嵌入式神经网络部署及工程化实例的一个泛谈录,是学习到此的一些经验和见解,端侧设备平台算力有限,很多模型都无法直接使用,而实际工程上又对端侧的场景有大量的要求,本章就对端侧神经网络部署分三个部分进行分析和理解。
1- 神经网络加速的本质
2- 如何选择一个适当的模型
3- 工程化部署需要注意的点
神经网络加速的本质
回归到神经网络本身,无论它的主干结构是CNN还是Transformer,无论是用于图像处理还是用于语音处理,抑或是多模态,他们的本质都是:给定输入,进入模型,得到输出。模型本身是一个具有类神经元结构的大规模函数体,这个结构内部的触发原理和行进链路是依照训练得来的。这个链路的形容