可瑞生物完成1亿元Pre-A+轮融资，由阳光聚变领投、馨瑞医疗
06-18
模型部署和优化的方向其实比较广泛。从完成模型训练到最终将模型部署到实际硬件上，整个过程涉及很多不同层面的工作，每个环节都有不同的技术要求。
部署过程大致可以分为以下几个环节： 模型部署过程 1.模型转换 从训练框架获取模型后，根据需求转换为相应的模型格式。模型格式的选择通常根据公司业务侧SDK的需求，通常是caffe模型或onnx模型，以方便不同框架之间的模型适配。
该环节的工作需要了解caffe/onnx等相应的训练框架和模型格式。常用的框架如Pytorch、TensorFlow都有非常成熟的社区和相应的博客或教程； caffe和onnx模型格式也有很多公开文档可以参考和学习。
即使你没有找到任何文章可以参考，幸运的是两者都是开源的，你仍然可以通过阅读源代码和示例代码找到答案。 2.模型优化这里的模型优化是指与后端无关的一般优化，比如常量折叠、算术优化、依赖优化、函数优化、算子融合、模型信息简化等。
有些训练框架会包括一些导出训练模型时的上述优化流程。同时，如果模型格式进行转换，不同IR表示之间的差异可能会引入一些冗余或可优化的计算，因此通常需要也会进行一些模型优化操作。
这个环节的工作需要对计算图的执行过程、每个op的计算定义、程序运行性能模型有一定的了解，从而知道如果模型是优化后的模型，如何保证优化后的模型有更好的性能优化。理解越深入，就越能发现模型的潜在性能。
3.模型压缩从广义上讲，模型压缩也是模型优化的一部分。模型压缩本身还包括很多方法，如剪枝、蒸馏、量化等。
模型压缩的根本目的是获得更小的模型，减少存储需求和减少计算量，从而达到加速的目的。该环节的工作需要对压缩算法本身、模型涉及的算法任务、模型结构设计、硬件平台计算流程有一定的了解。
当由于模型压缩操作导致模型精度下降时，只有充分了解模型算法以及模型在硬件上的计算细节，才能分析精度下降的原因并提供针对性的解决方案。对于模型压缩来说更重要的往往是工程经验，因为当同一个模型部署在不同的硬件后端时，由于硬件计算的差异，对精度的影响往往是不同的。
这只能通过积累工程经验来实现。不断改进。
OpenPPL也逐渐开源了自己的模型压缩工具链，并介绍了上述模型算法、压缩算法和硬件平台适配等知识。 4. 模型部署 模型部署是整个流程中最复杂的环节。
从工程角度来看，主要核心任务是模型打包、模型加密、SDK封装。在实际产品中，经常会使用多种模型。
模型打包是指将模型所涉及的前处理和后处理以及多个模型进行集成，并添加一些其他描述性文件。模型打包的格式和模型加密的方法与具体的SDK有关。
这个环节涉及到的主要技能与SDK开发关系比较密切。从功能上来说，对部署最终性能影响最大的肯定是SDK中包含的后端库，即实际运行模型的推理库。
开发高性能推理库所需的技能必须更广泛、更专业。并行计算的编程思想在不同平台上是通用的，但不同的硬件架构有各自的特点，推理库的开发思路也不同，这需要对后端架构系统有一定的了解。
具体到不同架构的编程学习，建议参考目前各大厂商的开源推理库进行进一步学习。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-06
06-18
06-17
最新文章
【玩转GPU】ControlNet初学者生存指南
【实战】获取小程序中用户的城市信息（附源码）
包雪雪简单介绍Vue.js：开学
Go进阶：使用Gin框架简单实现服务端渲染
线程池介绍及实际案例分享
JMeter 注释 18 - JMeter 常用配置组件介绍
基于Sentry的大数据权限解决方案
【云+社区年度征文集】GPE监控介绍及使用