PyTorch模型推理及多任务通用范式 课程2 作业

Course

PyTorch模型推理及多任务通用范式 课程2
。。。

Assignment

必做题

(1)从torchvision中加载resnet18模型结构,并载入预训练好的模型权重 'resnet18-5c106cde.pth' (在物料包的weights文件夹中)。
(2)将(1)中加载好权重的resnet18模型,保存成onnx文件。
(3)以torch.rand([1,3,224,224]).type(torch.float32)作为输入,求resnet18的模型计算量和参数量。
(4)以torch.rand([1,3,448,448]).type(torch.float32)作为输入,求resnet18的模型计算量和参数量。

思考题

(1)比较必做题中的(3)和(4)的结果,有什么规律?
(2)尝试用netron可视化resnet18的onnx文件
(3)model作为torch.nn.Module的子类,除了用 model.state_dict()查看网络层外,还可以用model.named_parameters()和model.parameters()。它们三儿有啥不同?
(4)加载模型权重时用的model.load_state_dict(字典, strict=True),里面的strict参数什么情况下要赋值False?

Solution

code

import os
import torch
import torchvision.models as models
from thop import profile

# 加载resnet18,载入预训练权重
model = models.resnet18(pretrained=True)

# 确定device,GPU优先
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device)

# 推理状态
model.eval()

# 构造随机输入
input_1 = torch.randn([1,3,224,224]).type(torch.float32).to(device)
input_2 = torch.randn([1,3,448,448]).type(torch.float32).to(device)

# 转onnx,并打印onnx文件大小
path = './weight/resnet18.onnx'
torch.onnx.export(model, input_1, path, verbose=True)
size = os.path.getsize(path)
print('Size of onnx file: {:.2f} M.'.format(size/1e6))
### PRINT: Size of onnx file: 46.74 M.

# 打印两种输入的模型参数量和计算量
flops, params = profile(model=model, inputs=(input_1,))
print('Model with input dimension [1,3,224,224]: {:.2f} GFLOPs and {:.2f} M parameters.'.format(flops/1e9, params/1e6))
### PRINT: Model with input dimension [1,3,224,224]: 1.82 GFLOPs and 11.69 M parameters.

flops, params = profile(model=model, inputs=(input_2,))
print('Model with input dimension [1,3,448,448]: {:.2f} GFLOPs and {:.2f} M parameters.'.format(flops/1e9, params/1e6))
### PRINT: Model with input dimension [1,3,448,448]: 7.27 GFLOPs and 11.69 M parameters.

必做题

(1)略
(2)46.74 MB
(3)计算量1.82 GFLOPs,参数量11.69 MB
(4)计算量7.27 GFLOPs,参数量11.69 MB

思考题

(1)比较必做题中的(3)和(4)的结果,有什么规律?

模型确定后,参数数量固定,计算量与输入数据量正相关,输入越大,计算量越大。

(2)尝试用netron可视化resnet18的onnx文件。

第一个残差块:
residual block 1

(3)model作为torch.nn.Module的子类,除了用 model.state_dict()查看网络层外,还可以用model.named_parameters()和model.parameters()。它们三儿有啥不同?

model.state_dict():返回ordered dictionary,包含整个模型结构名称和参数,以key/value组对存到dictionary中,默认不更新参数,require_grad=False。
model.named_parameters():返回iterator,包含全部参数名和参数,以Tuple组对存到list中,只保存可学习参数,默认更新参数,require_grad=True。
model.parameters():返回iterator,包含全部参数,没有参数名,其他同model.parameters()。

(4)加载模型权重时用的model.load_state_dict(字典, strict=True),里面的strict参数什么情况下要赋值False?

当加载模型和预训练模型有重不同时(迁移学习),需要赋值strict=False,否则抛错,此时只加载和预训练模型相同部分的权重,不同的部分(缺失层或添加层)被忽略。

学习心得

对pytorch还是不熟,理解不深,需要多动手。

评论

暂无评论