通过命令行的方式建立Dask集群
3,741 阅读
Dask的集群启动创建也很简单,有好几种方式,最简单的是采用官方提供dask-scheduler和dask-worker命令行方式。本文描述如何使用命令行方法建立Dask集群。
一、概述
官方介绍如下:
这是在多台计算机上部署Dask的最基本方法。在生产环境中,此过程通常由其他资源管理器自动执行。因此,很少有人需要明确遵循这些说明。 相反,这些说明对可能想要设置自动化服务以在其机构内部署Dask的IT专业人员很有用。
主要步骤包括: 1、启动dask-scheduler 2、注册worker
假设我们有两台主机,一台主机作为scheduler,同时也作为worker,另一台主机只作为worker。使用方法如下:
一、启动scheduler
直接使用dask-scheduler即可。安装完dask之后,系统就会有dask-scheduler命令,在作为schedule的服务器上直接运行如下命令即可:
dask-scheduler
一般有如下结果表明创建scheduler成功:
