【MindSpore】如何实现自定义数据集转换
文章目录
自定义数据集转换为MindRecord
首先,下载需要处理的图片数据transform.jpg作为待处理的原始数据。
创建文件夹目录./datasets/convert_dataset_to_mindrecord/datas_to_mindrecord/用于存放所有的转换数据集。
创建文件夹目录./datasets/convert_dataset_to_mindrecord/images/用于存放下载下来的图片数据。
在Jupyter Notebook中执行以下命令,完成图片下载和文件夹的创建,并将图片移动到指定位置。
!wget -N --no-check-certificate https://obs.dualstack.cn-nort...
!mkdir -p ./datasets/convert_dataset_to_mindrecord/datas_to_mindrecord/
!mkdir -p ./datasets/convert_dataset_to_mindrecord/images/
!mv -f ./transform.jpg ./datasets/convert_dataset_to_mindrecord/images/
!tree ./datasets/convert_dataset_to_mindrecord/images/
./datasets/convert_dataset_to_mindrecord/images/
└── transform.jpg
0 directories, 1 file
导入文件写入工具类FileWriter。
from mindspore.mindrecord import FileWriter
创建FileWriter对象,传入文件名及分片数量。
data_path = './datasets/convert_dataset_to_mindrecord/datas_to_mindrecord/'
data_record_path = './datasets/convert_dataset_to_mindrecord/datas_to_mindrecord/test.mindrecord'
writer = FileWriter(file_name=data_record_path,shard_num=4)
定义数据集结构文件Schema,调用write_raw_data接口写入数据,最后调用commit接口生成本地数据文件。
Schema文件主要包含字段名name、字段数据类型type和字段各维度维数shape:
字段名:字段的引用名称,可以包含字母、数字和下划线。
字段数据类型:包含int32、int64、float32、float64、string、bytes。
字段维数:一维数组用[-1]表示,更高维度可表示为[m, n, …],其中m、n为各维度维数。
如果字段有属性shape,则用户传入write_raw_data接口的数据必须为numpy.ndarray类型,对应数据类型必须为int32、int64、float32、float64。
定义schema
data_schema = {"file_name":{"type":"string"},"label":{"type":"int32"},"data":{"type":"bytes"}}
writer.add_schema(data_schema,"test_schema")
数据准备
file_name = "./datasets/convert_dataset_to_mindrecord/images/transform.jpg"
with open(file_name, "rb") as f:
bytes_data = f.read()data = [{"file_name":"transform.jpg", "label":1, "data":bytes_data}]
indexes = ["file_name","label"]
writer.add_index(indexes)
数据写入
writer.write_raw_data(data)
生成本地数据
writer.commit()
MSRStatus.SUCCESS
该示例会生成8个文件,成为MindRecord数据集。test.mindrecord0和test.mindrecord0.db称为1个MindRecord文件,其中test.mindrecord0为数据文件,test.mindrecord0.db为索引文件,生成的文件为:
./datasets/convert_dataset_to_mindrecord/datas_to_mindrecord/
├── test.mindrecord0
├── test.mindrecord0.db
├── test.mindrecord1
├── test.mindrecord1.db
├── test.mindrecord2
├── test.mindrecord2.db
├── test.mindrecord3
└── test.mindrecord3.db
0 directories, 8 files
到这边就完成啦,当然你可以了解更多内容https://bbs.huaweicloud.com/f...,尝试完成还有激励哦

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论