【MindStudio训练营第一季】MindStudio 专家系统随笔

司马炎
• 阅读 241

简介 专家系统(Mindstudio Advisor) 是用于聚焦模型和算子的性能调优Top问题,识别性能瓶颈,重点构建瓶颈分析、优化推荐模型,支撑开发效率提升的工具。专家系统当前已经支持针对推理、训练、算子场景的瓶颈分析模型,包括内部团队开发的模型&算子瓶颈分析和优化推荐知识库、针对onnx模型的自动调优知识库,以及基于生态开发者开发的生态知识库。

image.png

使用介绍 调优知识库 image.png

模型瓶颈分析 分析流程:

参数配置 & 启动分析; 首页summary报告: 模型香吐率运行时间、芯片利用率、切分策略评估,以及各个调优知识库TOP问题; 计算图分析: ub融合、aipp融合、transdata等; 模型算子性能瓶颈分析:模型算子带宽&算力利用率; aicpu & aicore并行分析; image.png

模型性能优化 针对onnx推理模型,根据定义好的子图pattern主动识别onnx模型中符合的子图,并对其进行修改优化:

当前支持的子图pattern:

Conv1d优化:

连续slice合并

连续concat合并

类型转换

大shape卷积转置

大kernel卷积拆分

根据官方介绍,后续还会根据调优场景继续补充,让更多开发者直接受益。

调用知识库开发 基于Ascend Advisor工程,开发者可以开发自己的调优知识库

支持代码调试(该功能在新版本会提供)

支持知识库共享(该功能在新版本会提供)

image.png

案例实践 推理模型调优 性能分析: Mobilenetv3图像分类 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a2951ef07c40424a9b0e39237466e383/1

性能分析&优化: Deit图像分类 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/a475d4f47de642f19c0a1f81580633ae/1

性能分析&优化: tdnn语音识别 https://www.hiascend.com/zh/software/modelzoo/models/detail/1/f4f4103245624c1a8637f8a5eadd950c/1

Mobilenetv3图像分类 image.png

Deit图像分类 image.png

点赞
收藏
评论区
推荐文章
Stella981 Stella981
2年前
Android app native代码性能分析
分析我们app中native层的C/C代码性能,能够方便我们找出其中的性能瓶颈,并在稍后做有针对性的优化。1\.下载androidndkprofiler工欲善其事,必先利其器,我们先要有良好的工具来支持我们做性能分析的愿望。androidndkprofiler就是目前我们可用的比较好
GoCoding GoCoding
1年前
TVM 加速模型,优化推断
TVM是一个开源深度学习编译器,可适用于各类CPUs,GPUs及其他专用加速器。它的目标是使得我们能够在任何硬件上优化和运行自己的模型。不同于深度学习框架关注模型生产力,TVM更关注模型在硬件上的性能和效率。本文只简单介绍TVM的编译流程,及如何自动调优自己的模型。更深入了解,可见TVM官方内容:文档:https://tvm.apach
司马炎 司马炎
1年前
【MindStudio训练营第一季】MindStudio 高精度对比随笔
MindStudio精度对比简介原因:训练场景下,迁移原始网络(如TensorFlow、PyTorch),用于NPU上执行训练,网络迁移可能会造成自有实现的算子运算结果与用原生标准算子运算结果存在偏差。推理场景下,ATC模型转换过
小尉迟 小尉迟
11个月前
Java 性能分析工具 JProfiler 注册码
JProfiler是一个Java分析器,可帮助开发人员分析其应用程序的性能。它可用于识别性能瓶颈、内存泄漏和其他可能影响应用程序性能的问题。JProfiler提供了许多用于分析Java应用程序的功能,包括CPU分析、内存分析、线程分析以及与Eclipse、
京东云开发者 京东云开发者
6个月前
使用Triton部署chatglm2-6b模型 | 京东云技术团队
一、技术介绍NVIDIATritonInferenceServer是一个针对CPU和GPU进行优化的云端和推理的解决方案。支持的模型类型包括TensorRT、TensorFlow、PyTorch(metallama/Llama27b)、Python(cha
流浪剑客 流浪剑客
5个月前
JProfiler for Mac 14 附 注册码 支持M1
是一款针对Mac用户的专业Java性能分析工具,它可以帮助开发人员识别和解决Java应用程序的性能瓶颈和问题。JProfilerforMac提供了全面的分析和优化功能,包括实时监控Java应用程序的各个方面,如内存使用情况、CPU占用、线程活动和数据库访问
秦朗 秦朗
3个月前
老男孩网络安全11期
//下仔のke:https://yeziit.cn/15304/AI大模型系统实战涉及多个步骤,包括模型训练、调优、部署和推理。以下是一个简化的流程:数据收集与预处理:首先,需要收集适合训练所需的数据。这可能来自不同的来源,如公开数据集、私有数据集或实时数
金旋 金旋
2个月前
知乎-AI大模型全栈工程师1期
//下仔のke:https://yeziit.cn/15068/AI模型是指使用人工智能技术构建的模型,用于模拟和预测现实世界中的各种问题和现象。AI模型通常基于大量的数据和算法,通过训练和学习来提高自身的性能和准确性。AI模型可以分为多种类型,包括但不限
京东云开发者 京东云开发者
2个月前
京东广告算法架构体系建设--高性能计算方案最佳实践 | 京东零售广告技术团队
1、前言推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide&Deep相对简单的网络结构进行建模,容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区,基于Transformer用户行为序列和Atten
京东云开发者 京东云开发者
1个月前
京东广告算法架构体系建设--高性能计算方案最佳实践
1、前言推荐领域算法模型的在线推理是一个对高并发、高实时有较强要求的场景。算法最初是基于Wide&Deep相对简单的网络结构进行建模,容易满足高实时、高并发的推理性能要求。但随着广告模型效果优化进入深水区,基于Transformer用户行为序列和Atten