之前已经介绍过 Slurm 基本指令的学习,于是我准备新开一个笔记,来一个综合应用:在超算平台能跑个深度学习模型。

在很多教程都是教大家加载 conda 环境变量,重新安装一个。
而我感觉只要平台有,就用平台的,因此先用 module avail 看看有没有可以使用的环境
刚好我在太原超算看到 apps/Pytorch/1.8.0-dtk21.04-cp6,本着能用尽用的原则,以此来进行我的教程,当然最后也附带了从零开始制作自己的环境教程。

手动挡

  1. 查看队列:whichpartition
  2. 申请节点:salloc -p 队列名 -N 1 --gres=dcu:1,ps:看看自己账号能申请多少个 dcu;salloc 具体参数根据情况配置,我这里只是假设。(等待出现:salloc: Nodes b09r3n18 are ready for job,后来可能附带冲突关系不用理会!,目测是因为开辟的新节点与当前环境变量冲突,开辟的新节点由于需要 DCU,会自动加载 compiler/devtoolset/7.3.1 、) mpi/hpcx/2.11.0/gcc-7.3.1compiler/dtk/22.10.1(随着时间变化可能不同))
  3. 登录节点:ssh b09r3n18,注意登录之后,原来的环境变量已经被切换了
  4. 这一步可能省略,由于我要加载的 pytorch 需要 21.04 版本的 dtk,因此需要使用:module switch compiler/dtk/21.04
  5. 加载 pytorch 预设环境变量:module load apps/Pytorch/1.8.0-dtk21.04-cp6
  6. 启动 python 环境测试, python3注意:有些超算平台可能存在 python2,如果输入 python,会进入 python2,而我们可以通过 module show apps/Pytorch/1.8.0-dtk21.04-cp6 看到这是安装 python3.6.8 下的。
  7. 输入 import torchtorch.cuda.is_available()torch.__version__,如果输出无误,就可以 ctrl+D 退出 python 环境,在登录的节点运行 python xxx.py --batch_size=8 ->当然这是单卡运行

    自动挡-sbatch 式

    自己建立. sh 作业提交脚本,
    首先也需要查看队列:whichpartition 以及查看面板的可用资源,再编写。

    不能在登录的计算节点里使用作业提交脚本,当提交 sh 文件,相当于使用 salloc 分配,系统会自动进入开辟的空间。
  8. test. sh:

    #!/bin/bash
    
    # 作业名称
    
    #SBATCH -J weather_classification
    
    # 指定队列,通过`whichpartition`看
    
    #SBATCH -p ty_normal
    
    # 节点数,可以看首页的可访问队列有多少空闲节点
    
    #SBATCH -N 1
    
    # 运行的任务数量
    
    #SBATCH -n 2
    
    # 表示每个任务占用多少个CPU,也就是说-n * -c = CPU核数!现在说明申请4核。
    
    #SBATCH -c 2
    
    # 需要1个dcu,后面的数字根据首页的加速卡数量,如果是英伟达GPU,改成gpu:1即可
    
    #SBATCH --gres=dcu:1
    
    #SBATCH -o %j.out  
    
    #SBATCH -e %j.err
    
      
    
    module swtich compiler/dtk/21.04
    
    module load apps/Pytorch/1.8.0-dtk21.04-cp6
    
      
    
    python3 test.py

    注意:python3!

  9. test. py:

    import torch
    print(torch.cuda.is_available())
    print(torch.__version__)

最后执行 sbatch test.sh

有时候输出 sbatch: error: Batch job submission failed: Requested node configuration is not available,说明申请的资源不可取,太大了。

扩展-从零开始制作自己的环境教程

当然,官方安装的有些包是不存在的,这时候我们就不能依赖官方的,需要激活 conda 环境以安装。

  1. 首先通过 module avail 看看有什么版本的 anaconda,正好看到 apps/anaconda3/5.2.0,于是通过 module load apps/anaconda3/5.2.0 激活。
  2. 然后 conda create -n torch python=3.6.8 创建环境,source activate torch 在这个环境安装一些不在系统预存的包需要附带 -i https://pypi.tuna.tsinghua.edu.cn/simple 加速安装。(注销是: source deactivate )
  3. 适用 pip3 install /public/software/apps/DeepLearning/whl/dtk21.04.1/torch-1.7.0a0-cp36-cp36m-linux_x86_64.whl 安装适配 DCU 的 pytorch 教程 (其它东西都在这类 /public/software/apps/DeepLearning/whl/ 目录找找,能安装 paddlepaddle、tensorflow 等等;dtk 建议老版本,毕竟稳定最重要了;为什么在前面安装 python 3.6.8 版本,看吧,原因就在这里,这 whl 也只适合 36)
  4. 之后安装自己需要的包即可。注意:在老版本 python 安装 opencv,需要指定版本,例如版本 4.3.0.38,不然会报错。
  5. 添加环境变量(如果没有报错就不需要!)。当引用 torch 可能会出现如下错误, ImportError: libglog.so.0: cannot open shared object file: No such file or directory,这时需要

    1. vi ~/pytorch_env.sh
    2. `export LD_LIBRARY_PATH=/public/software/apps/DeepLearning/PyTorch_Lib/lib:/public/software/apps/DeepLearning/PyTorch_Lib/lmdb-0.9.24-build/lib:/public/software/apps/DeepLearning/PyTorch_Lib/opencv-2.4.13.6-build/lib:/public/software/apps/DeepLearning/PyTorch_Lib/openblas-0.3.7-build/lib:$LD_LIBRARY_PATH

    `

    1. 保存并退出,然后执行 source ~/pytorch_env.sh。以后每次登录新的节点时,都要执行一次
  6. 编写脚本

    #!/bin/bash
    # 作业名称
    #SBATCH -J weather_classification
    # 指定队列,通过`whichpartition`看
    #SBATCH -p ty_normal
    # 节点数,可以看首页的可访问队列有多少空闲节点
    #SBATCH -N 1
    # 运行的任务数量
    #SBATCH -n 1
    # 表示每个任务占用多少个CPU,也就是说-n * -c = CPU核数!
    #SBATCH -c 1
    # 需要1个dcu,后面的数字根据首页的加速卡数量,如果是英伟达GPU,改成gpu:1即可
    #SBATCH --gres=dcu:1
    #SBATCH -o %j.out  
    #SBATCH -e %j.err
    
    module load apps/anaconda3/5.2.0
    source activate torch
    module switch compiler/dtk/21.04
    
    python test.py
    

最后,提醒大家:

丹规千万条,核时第一条。关炉不规范,钞票两行泪!

手动挡,一定记得要释放啊!
自动挡,注意飙车时间。

linux 高性能

版权属于:染念
作品采用:本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可。
更新于: 2023年11月13日 13:27
3
发表评论


176 文章数
667 评论量
4 分类数
180 页面数
已在风雨中度过 7年18天15小时22分
目录
来自 《超算平台的深度学习环境使用》
© 2024 染念Blog
浙ICP备19020194号-1
暗黑模式
暗黑模式
评论
返回顶部
© 2024 染念Blog
浙ICP备19020194号-1
暗黑模式
暗黑模式
评论
返回顶部