使用 SkyPilot 在OCI云上运行分布式任务最佳实践

SkyPilot是一个受欢迎的管理AI及分布式工作负载和资源的工具，其在集群节点间管理了一个Ray集群，基于Ray集群可以运行基于Ray的分布式工作任务。可以使用SkyPilot以节省成本的方式管理GPU资源、TPU资源、NPU资源、HPC资源、CPU资源等等，比如可以设置在工作任务完成之后自动停止集群，这非常适合诸如模型训练等场景。

安装SkyPilot

# 下载 SkyPilot
git clone https://github.com/skypilot-org/skypilot.git

# 创建 Python 环境
conda create -n sky python=3.10

# 进入下载目录，然后执行 pip 命令安装OCI模块
pip install -e ".[oci]"

设置 OCI 配置文件

创建 ~/.oci 目录，该目录需要包含 config 文件和 API Key 文件，如下:

~/.oci/config
~/.oci/oci_api_key.pem

~/.oci/config 文件的内容类似如下:

[DEFAULT]
user=ocid1.user.oc1..aaaaaaaa
fingerprint=aa:bb:cc:dd:ee:ff:gg:hh:ii:jj:kk:ll:mm:nn:oo:pp
tenancy=ocid1.tenancy.oc1..aaaaaaaa
region=region_name
# Note that we should avoid using full home path for the key_file configuration, e.g. use ~/.oci instead of /home/username/.oci
key_file=~/.oci/oci_api_key.pem

创建集群

比如，启动一个2节点的集群：

sky launch -c "hysdev_2nodes" cpu_task.yaml

cpu_task.yaml 文件内容如下，此时可以在 setup 命令段设置好环境，安装好依赖包等初始化，但具体的任务逻辑(run命令段) 可以为空，即不执行具体的任务逻辑。等集群创建好之后我们再提交具体的任务。

name: cpu-task1

resources:
  # Optional; if left out, automatically pick the cheapest cloud.
  cloud: oci

  region: ap-seoul-1

  cpus: 2

  use_spot: False

# Working directory (optional) containing the project codebase.
# Its contents are synced to ~/sky_workdir/ on the cluster.
workdir: .

num_nodes: 2

# Typical use: pip install -r requirements.txt
# Invoked under the workdir (i.e., can use its files).
setup: |
  echo "*** Running setup for the task. ***"
  echo "For example, create your python env, create packages, etc. "

# Typical use: make use of resources, such as running training.
# Invoked under the workdir (i.e., can use its files).
run: |
  echo "*** Running the task on OCI ***"

输出：

Considered resources (2 nodes):
-------------------------------------------------------------------------------------------------------
 CLOUD   INSTANCE                   vCPUs   Mem(GB)   ACCELERATORS   REGION/ZONE   COST ($)   CHOSEN
-------------------------------------------------------------------------------------------------------
 OCI     VM.Standard.E4.Flex$_2_8   2       8         -              ap-seoul-1    0.07          ?
-------------------------------------------------------------------------------------------------------
Launching a new cluster 'hysdev_2nodes'. Proceed? [Y/n]:
?? Launching on OCI ap-seoul-1 (AP-SEOUL-1-AD-1).
└── Instances are up.
? Cluster launched: hysdev_2nodes.  View logs at: ~/sky_logs/sky-2024-11-10-18-09-19-874460/provision.log
Run commands not specified or empty.

Cluster name: hysdev_2nodes
├── To log into the head VM:    ssh hysdev_2nodes
├── To submit a job:            sky exec hysdev_2nodes yaml_file
├── To stop the cluster:        sky stop hysdev_2nodes
└── To teardown the cluster:    sky down hysdev_2nodes

运行工作任务：

工作任务可以是你的任何程序，可以直接放在 task 的任务文件的 run 段中。task 文件中的 workdir 指定本地需要运行的程序代码，它会自动同步的远程服务器上去。

比如，如下 mytask1.yaml 文件：

name: my-task

# 需要同步到远程服务器上的本地代码目录
workdir: .

# 具体需要执行的工作任务，可以是任何命令
run: |
  echo "*** Running the task on OCI ***"
  source ~/skypilot-runtime/bin/activate
  python task.py
  echo "The task is completed."

提交并运行工作任务：

sky exec hysdev_2nodes mytask1.yaml

这样我们就成功创建了一个集群，并调度集群的资源成功运行了一个指定的工作任务。

更多命令可以查看：

# 查看创建集群时的具体参数
sky launch -h

# 查看集群状态的具体参数
sky status -h

 Useful Commands
├── To cancel the job:          sky cancel hysdev_2nodes 1   (取消一个任务)
├── To stream job logs:         sky logs hysdev_2nodes 1  (查看任务实时log)
└── To view job queue:          sky queue hysdev_2nodes  (查看任务队列)

Cluster name: hysdev_2nodes
├── To log into the head VM:    ssh hysdev_2nodes  (ssh 到集群主节点)
├── To submit a job:            sky exec hysdev_2nodes yaml_file  (提交一个任务)
├── To stop the cluster:        sky stop hysdev_2nodes  (停止一个集群)
└── To teardown the cluster:    sky down hysdev_2nodes  (销毁一个集群)