[NLP]安装PaddleNLP

1. 什么是PaddleNLp

PaddleNLP(飞桨NLP)是一款由百度开发的、基于百度Paddlepaddle(飞桨)开源深度学习平台的开源自然语言处理模型库。

PaddleNLP是一款简单易用且功能强大的自然语言处理和大语言模型(LLM)开发库。聚合业界优质预训练模型并提供开箱即用的开发体验,覆盖NLP多场景的模型库搭配产业实践范例可满足开发者灵活定制的需求。

飞桨NLP官网
飞桨NLPGit地址

2.优点

PaddleNLP提供了18个开箱即用的NLP预制模型,大多数的预制模型同时支持定制化训练,实现模型微调。在方便易用的同时保证了效果。
另外,PaddleNLP提供了大量的中文预训练模型,支持高性能分布式训练与推理。

3. 安装试用

  1. 基础环境 python >= 3.7
    建议使用3.10的版本,之前使用3.12的版本进行安装,卡在paddleNLP安装下的onnx的安装上。
  2. paddlepaddle >= 2.6.0
    安装paddlepaddle,按照官网说明安装过即可。
  3. 安装cmake
    需要提前安装好cmake。
  4. 安装paddleNLP
    按照官网说明安装即可。

备注:
如果是windows系统,需要提前修改注册表解除文件名长度限制。
HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlset\Control\FileSystem下的LonggPathEnabled设置为1。

如果是windows系统,建议不要直接安装cmake,而是安装visual studio c++桌面开发工具,在环境变量中加入cmake。直接安装cmake时安装paddleNLP过程中会报错。
添加环境变量:vs安装目录\Community\Common7\IDE\CommonExtensions\Microsoft\CMake\CMake\bin。

评论

暂无评论