# 基本步骤

本文使用的 dtk 版本为 22.10.1,其他版本应该也可用。

# 使用 conda

本文默认已经配置好了 conda 环境(要求 python==3.7,与 jupyter 环境一致)

使用命令

1
conda env list

列出当前存在的 conda 环境,如果不包含需要的环境需要根据 超算ac平台使用conda搭建pytorch环境 自行创建和配置。

推荐使用平台上存在的预置 conda 环境,这样可以节省很多手动下载安装依赖的时间。

本文选取的是当前平台上存在的预置环境 pytorch1.10.0a0-py37-dtk22.04.2

1
2
3
# 本文选取当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2
[xxxxx@login08]$ conda activate pytorch1.10.0a0-py37-dtk22.04.2
(pytorch1.10.0a0-py37-dtk22.04.2) [xxxxxx@login08]$

# 创建 Jupyter Notebook 环境

在 ac 平台创建 Notebook 环境,选择适合的框架版本(dtk),和加速器数量进行创建,等待部署完成之后进入 jupyter 环境。

该过程不再赘述。

# 添加 python 系统路径

默认情况下该环境内只能加载该 jupyter 容器环境中包含的版本 python 包,但是可以通过下面的方式来调用其他环境下的 python 包:

创建一个新的 notebook 并在新建单元格中执行下面的代码

1
2
3
4
5
6
import sys
# 该路径是conda虚拟环境的包目录
# 可以通过 conda env list 查看
sys.path.append("/public/software/apps/anaconda3/5.2.0/envs/pytorch1.10.0a0-py37-dtk22.04.2/lib/python3.7/site-packages")
# 下面再导入别的包
import pkgs

这样就可以随意调用自己自定义虚拟环境中的包了,需要安装新的包,只需要在 eshell 中(不能在 jupyter 环境的 shell 中执行,计算节点没有网络)执行 pip install 即可。

仅当使用预置环境时

预置 conda 环境目录不在当前用户目录,因此普通用户会有写入权限问题,直接在预置环境下执行 pip install pkg 会将对应的包写入到 .local/lib/pyhon3.x/site-packages 下,因此在使用预置 conda 环境时需要在脚本中添加

sys.path.append("/public/home/uname/.local/lib/python3.x/site-packages") (其中 uname 为当前用户名)

即最终应该为

1
2
3
4
5
6
7
import sys
# 该路径是conda虚拟环境的包目录
# 可以通过 conda env list 查看
sys.path.append("/public/software/apps/anaconda3/5.2.0/envs/pytorch1.10.0a0-py37-dtk22.04.2/lib/python3.7/site-packages")
sys.path.append("/public/home/$uname$/.local/lib/python3.x/site-packages")
# 下面再导入别的包
import pkgs

# 其他问题

・待补充