ac平台在Jupyter Notebook中使用自定义conda环境

基本步骤

本文使用的dtk版本为22.10.1，其他版本应该也可用。

使用conda

本文默认已经配置好了conda环境（要求python==3.7，与jupyter环境一致)

使用命令

1	conda env list

列出当前存在的conda环境，如果不包含需要的环境需要根据超算ac平台使用conda搭建pytorch环境自行创建和配置。

推荐使用平台上存在的预置conda环境，这样可以节省很多手动下载安装依赖的时间。

本文选取的是当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2

1
2
3

# 本文选取当前平台上存在的预置环境pytorch1.10.0a0-py37-dtk22.04.2
[xxxxx@login08]$ conda activate pytorch1.10.0a0-py37-dtk22.04.2
(pytorch1.10.0a0-py37-dtk22.04.2) [xxxxxx@login08]$

创建Jupyter Notebook 环境

在ac平台创建Notebook环境，选择适合的框架版本（dtk)，和加速器数量进行创建，等待部署完成之后进入jupyter环境。

该过程不再赘述。

添加python系统路径

默认情况下该环境内只能加载该jupyter容器环境中包含的版本python包，但是可以通过下面的方式来调用其他环境下的python包：

创建一个新的notebook并在新建单元格中执行下面的代码

import sys
# 该路径是conda虚拟环境的包目录
# 可以通过 conda env list 查看
sys.path.append("/public/software/apps/anaconda3/5.2.0/envs/pytorch1.10.0a0-py37-dtk22.04.2/lib/python3.7/site-packages")
# 下面再导入别的包
import pkgs

这样就可以随意调用自己自定义虚拟环境中的包了，需要安装新的包，只需要在eshell中（不能在jupyter环境的shell中执行，计算节点没有网络）执行pip install即可。

仅当使用预置环境时

预置conda环境目录不在当前用户目录，因此普通用户会有写入权限问题，直接在预置环境下执行pip install pkg会将对应的包写入到.local/lib/pyhon3.x/site-packages 下，因此在使用预置conda环境时需要在脚本中添加

sys.path.append("/public/home/uname/.local/lib/python3.x/site-packages") (其中uname为当前用户名)

即最终应该为

import sys
# 该路径是conda虚拟环境的包目录
# 可以通过 conda env list 查看
sys.path.append("/public/software/apps/anaconda3/5.2.0/envs/pytorch1.10.0a0-py37-dtk22.04.2/lib/python3.7/site-packages")
sys.path.append("/public/home/$uname$/.local/lib/python3.x/site-packages")
# 下面再导入别的包
import pkgs