ac平台在Jupyter Notebook中使用自定义conda环境
# 基本步骤
本文使用的 dtk 版本为 22.10.1,其他版本应该也可用。
# 使用 conda
本文默认已经配置好了 conda 环境(要求 python==3.7,与 jupyter 环境一致)
使用命令
1 | conda env list |
列出当前存在的 conda 环境,如果不包含需要的环境需要根据 超算ac平台使用conda搭建pytorch环境
自行创建和配置。
推荐使用平台上存在的预置 conda 环境,这样可以节省很多手动下载安装依赖的时间。
本文选取的是当前平台上存在的预置环境 pytorch1.10.0a0-py37-dtk22.04.2
1 | # 本文选取当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2 |
# 创建 Jupyter Notebook 环境
在 ac 平台创建 Notebook 环境,选择适合的框架版本(dtk),和加速器数量进行创建,等待部署完成之后进入 jupyter 环境。
该过程不再赘述。
# 添加 python 系统路径
默认情况下该环境内只能加载该 jupyter 容器环境中包含的版本 python 包,但是可以通过下面的方式来调用其他环境下的 python 包:
创建一个新的 notebook 并在新建单元格中执行下面的代码
1 | import sys |
这样就可以随意调用自己自定义虚拟环境中的包了,需要安装新的包,只需要在 eshell 中(不能在 jupyter 环境的 shell 中执行,计算节点没有网络)执行 pip install
即可。
仅当使用预置环境时
预置 conda 环境目录不在当前用户目录,因此普通用户会有写入权限问题,直接在预置环境下执行 pip install pkg
会将对应的包写入到 .local/lib/pyhon3.x/site-packages
下,因此在使用预置 conda 环境时需要在脚本中添加
sys.path.append("/public/home/uname/.local/lib/python3.x/site-packages")
(其中 uname 为当前用户名)
即最终应该为
1 | import sys |
# 其他问题
・待补充