ColossalChat部署经验分享(sft篇)
文章目录
简介
ColossalAI是一个开源的人工智能项目,最近因为学习研究中用到它。官方的README有一些使用说明但是不够详细,这里把自己把一些经验总结分享一下。
这里主要用到其中的ColossalChat部分,用于进行LLM训练,ColossalAI提供了一个很好的学习样例。
前期准备
- CentOS7.x及以上版本的操作系统
- 显存40G以上的显卡至少一张
- 不低于45G的内存
- MetaAI的开源预训练模型LLaMA-7B
环境部署
anaconda、python和pip
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.03-Linux-x86_64.sh
bash Anaconda3-2023.03-Linux-x86_64.sh
# root权限非必要,自行设置安装路径
# 安装完毕后,按提示进行初始化
conda init
# 升级conda
conda install conda=23.3.1
# 升级pip,版本23.x
pip install pip -U
# 创建虚拟环境coati
conda create -n coati
# 启用虚拟环境coati。之后的安装和运行都要确保处于coati虚拟环境下。
conda activate coati
# 安装python 3.10.x,3.11.x不行,会报错
conda install python=3.10.10自行设置一下pip源和conda源,这里不作介绍。
安装transformers
这里注意使用的是huggingface的transformers,不是colossalai团队自己fork出来的那版,那版更新慢,容易出问题。
git clone git@github.com:huggingface/transformers.git
cd transformers
pip install .笔者使用的版本位于dbc1226,安装完后提示安装内容及版本为huggingface-hub-0.14.1 transformers-4.29.0.dev0。
安装nvidia-driver和cuda
这个自己去网上找资料,官网上也有安装说明,这里不展开细讲。
cuda的版本要求是11.6或者是11.7。12.x尝试的时候出过问题,没深入研究,自行决定是否使用。
nvidia-drivers与cuda版本对应即可,一般510以上都可以。
安装完成后使用nvidia-smi确认下Driver版本和CUDA版本。
安装ColossalAI
git clone git@github.com:hpcaitech/ColossalAI.git
cd ColossalAI这个时候先不要pip install .,容易出问题,先确认一下自己的python版本
python --version
跟前面的3.10.10是否一致,不一致的话要使用前面的conda命令重新安装。
前往pytorch官网查询安装指引,不能使用2.0.0及以后的版本,查找之前的版本,然后从给出的命令中找到对应自己操作系统和cuda版本的命令,笔者这里是:
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.6 -c pytorch -c nvidia完成后,使用下面的命令验收:
python
# 需要显示出正确的版本,3.10.10
>>>import torch
>>>print(torch.__version__) # 需要与安装命令中的版本一致
>>>print(torch.version.cuda) # 需要与cuda版本一致
>>>print(torch.cuda.is_available()) # 需要显示为True接下来开始安装ColossalAI
git clone git@github.com:hpcaitech/ColossalAI.git
git checkout e6a132a # 20230511之后的版本修复了此问题,不需执行这个了。
pip install .说明:
- 之所以要先手动安装指定版本的python,是因为在这里
pip install .可能会默认安装python=3.11.x,导致后面运行出错; - pytorch也是一样,安装依赖里要求是pytorch>1.12.1,但依赖库里最新版是pytorch2.0.0,安装pytorch2.0.0目前是不行的;
git checkout e6a132a是由于截止笔者写此文章的时间,ColossalAI库里有一些未验证的代码,直接安装会导致报错,e6a132a是前面一个可以正常使用的版本。此问题在commit 1f73609adb358aa1a004f6e5e4c0928a13eb93be 处已修复。
安装过程中可能会提示pyqt5 pyqtwebengine不存在,按照报错要求使用conda安装即可,注意最好指定所需要的版本。
完成后提示安装版本为colossalai-0.2.8。
要执行sft训练,还需要执行以下操作:
cd applications/Chat/
pip install .完成后进入applications/Chat/examples目录,编辑train_sft.sh脚本,调整其中的参数,具体参考官方文档。
转换llama-7B预训练模型格式
直接下载的metaAI的LLaMA模型需要进行一下格式转换才能在ColossalChat中使用:
# 进入huggingface的transformer项目根目录
python src/transformers/models/llama/convert_llama_weights_to_hf.py --input_dir <your/llama/weith/path> --model_size 7B --output_dir /output/path其中<your/llama/weith/path>是你下载的LLaMA模型的位置,注意不是7B/30B等子目录下,而是7B/30B等目录所在的目录位置。
输出目录路径要记录下来设置到后面的train_sft.sh脚本的--pretrain参数中。
准备dataset
dataset实际上是一些问答对,用来进行supervised fine-tuning的,不懂的去查ChatGTP的流程说明。
数据通过InstructionWild获取,注意代码仓库里提供的是prompt,这里需要的是dataset,要从代码仓库的README中找,里面提供了百度网盘的下载链接。下载下来的json文件要设置到后面的train_sft.sh脚本的--dataset参数中。
开始sft训练
最后,使用./train_sft.sh开始训练。
其它问题
关于OOM
OOM是做LLM训练中常遇到的问题,就sft步骤而言,A40 45G显存显卡,使用batch_size=2的情况下可以完成;如果batch_size=4则会报OOM
关于cpu_adam
这是一个cpp类库,在optimizer里会使用到它。然而这个东西是在colossalai会调用的时候用JIT模式实时编译的,如果编译不了也不报错,造成任务空跑。
如果系统内核版本比较新,gcc版本也比较新,JIT最真实编译会顺利结束,不会遇到什么问题;如果内核版本较旧,则极有可能出错。
笔者的系统版本是CentOS7,gcc版本是4.x,解决此问题的方法是:
使用devtoolset,使用scl enable devtoolset-8 bash升级gcc版本到8.x;
设置环境变量export CUDA_EX=1,重新到ColossalAI代码根目录执行pip install .;
这样就顺利编译出了cpu_adam模块。

评论
登录后参与技术讨论,分享你的经验与见解。
登录 / 注册暂无评论